[go] Go 언어로 텍스트 데이터의 빈도수를 계산하는 방법

07 Dec 2023

텍스트 데이터에서 단어의 빈도수를 계산하는 것은 자연어 처리 애플리케이션에서 매우 중요한 작업입니다. Go 언어는 이를 수행하는 강력한 기능을 제공합니다. 이번 블로그 포스트에서는 Go 언어를 사용하여 텍스트 데이터의 빈도수를 계산하는 방법에 대해 알아보겠습니다.

1. 텍스트 데이터 입력받기

먼저, 텍스트 데이터를 입력 받아야 합니다. 이를 위해 Go에서는 bufio 패키지를 사용하여 파일에서 텍스트를 읽어올 수 있습니다. 아래의 코드는 파일을 읽어와 텍스트 데이터를 저장하는 예제입니다.

package main

import (
    "bufio"
    "fmt"
    "os"
)

func main() {
    file, err := os.Open("data.txt")
    if err != nil {
        fmt.Println("파일을 열 수 없습니다.")
        return
    }
    defer file.Close()

    scanner := bufio.NewScanner(file)
    for scanner.Scan() {
        text := scanner.Text()
        // 빈도수 계산을 위한 처리
    }
    if scanner.Err() != nil {
        fmt.Println("파일을 읽는 중 오류가 발생했습니다.")
        return
    }
}

위의 예제에서 data.txt는 입력 파일의 이름입니다.

2. 단어의 빈도수 계산하기

텍스트 데이터를 입력받았으면 이제 각 단어의 빈도수를 계산해야 합니다. 이를 위해 Go에서는 map을 사용할 수 있습니다. 아래의 코드는 텍스트 데이터의 단어 빈도수를 계산하여 출력하는 예제입니다.

package main

import (
    "bufio"
    "fmt"
    "os"
    "strings"
)

func main() {
    file, err := os.Open("data.txt")
    if err != nil {
        fmt.Println("파일을 열 수 없습니다.")
        return
    }
    defer file.Close()

    wordFrequency := make(map[string]int)
    scanner := bufio.NewScanner(file)
    for scanner.Scan() {
        text := scanner.Text()

        // 텍스트를 단어로 분리
        words := strings.Fields(text)
        for _, word := range words {
            // 단어의 빈도수 계산
            wordFrequency[word]++
        }
    }
    if scanner.Err() != nil {
        fmt.Println("파일을 읽는 중 오류가 발생했습니다.")
        return
    }

    // 단어의 빈도수 출력
    for word, frequency := range wordFrequency {
        fmt.Printf("%s: %d\n", word, frequency)
    }
}

위의 예제에서 wordFrequency는 단어와 빈도수를 저장하는 map입니다. 각 단어를 strings.Fields() 함수를 사용하여 분리한 뒤, wordFrequency에 단어의 빈도수를 업데이트합니다.

3. 결과 확인하기

위의 예제를 실행하면, 입력받은 텍스트 데이터에서 각 단어의 빈도수가 출력됩니다. 이를 통해 해당 텍스트 데이터에서 어떤 단어가 얼마나 자주 등장하는지 확인할 수 있습니다.

추가로, 해당 코드를 실행할 때 파일 이름을 변경하고 다른 텍스트 데이터에 대해서도 빈도수를 계산할 수 있습니다.

결론

Go 언어를 사용하여 텍스트 데이터의 빈도수를 계산하는 방법을 알아보았습니다. 이를 통해 자연어 처리와 텍스트 분석과 같은 작업에 유용하게 사용할 수 있습니다. Go 언어의 강력한 기능을 활용하여 효율적인 텍스트 데이터 분석 애플리케이션을 구현할 수 있습니다.

참고 자료:

Go 공식 문서: https://golang.org/doc/
Go 예제 코드: https://github.com/golang/example