[go] Go 언어에서의 데이터 전처리 방법

07 Dec 2023

Go 언어는 간결하고 효율적인 프로그래밍 언어로 알려져 있습니다. 데이터 전처리는 데이터를 분석하거나 기계 학습 모델을 훈련시키기 전에 필요한 작업입니다. 이번 포스트에서는 Go 언어에서 데이터 전처리를 수행하는 방법에 대해 알아보겠습니다.

1. CSV 파일 읽기

CSV (Comma Separated Values)는 텍스트 형식의 데이터 파일로, 데이터를 콤마(,)로 구분합니다. Go 언어에서 CSV 파일을 읽기 위해 encoding/csv 패키지를 사용할 수 있습니다. 아래는 CSV 파일을 읽고 데이터를 출력하는 예제 코드입니다.

package main

import (
    "encoding/csv"
    "fmt"
    "os"
)

func main() {
    // CSV 파일 오픈
    file, err := os.Open("data.csv")
    if err != nil {
        fmt.Println("파일 열기 실패:", err)
        return
    }
    defer file.Close()

    // CSV 리더 생성
    reader := csv.NewReader(file)

    // CSV 데이터 읽기
    records, err := reader.ReadAll()
    if err != nil {
        fmt.Println("데이터 읽기 실패:", err)
        return
    }

    // 데이터 출력
    for _, record := range records {
        fmt.Println(record)
    }
}

2. 데이터 정제

데이터를 전처리할 때는 일부 데이터를 걸러내거나 형식을 맞추는 작업이 필요합니다. 이를 위해 Go 언어에서는 strings 패키지와 정규식을 사용할 수 있습니다. 아래는 데이터에서 특정 문자열을 제거하는 예제 코드입니다.

package main

import (
    "fmt"
    "strings"
)

func main() {
    data := "Hello, World!"
    // "Hello" 문자열 제거
    result := strings.ReplaceAll(data, "Hello", "")
    fmt.Println(result) // 출력: ", World!"
}

3. 데이터 변환

데이터를 분석이나 모델 학습에 사용하기 위해서는 데이터를 적절한 형식으로 변환해야 합니다. Go 언어에서는 strconv 패키지를 사용하여 문자열을 숫자로 변환하거나 숫자를 문자열로 변환할 수 있습니다. 아래는 문자열을 숫자로 변환하는 예제 코드입니다.

package main

import (
    "fmt"
    "strconv"
)

func main() {
    data := "10"
    // 문자열을 정수로 변환
    number, err := strconv.Atoi(data)
    if err != nil {
        fmt.Println("숫자 변환 실패:", err)
        return
    }
    fmt.Println(number) // 출력: 10
}

4. 데이터 샘플링

대용량 데이터에서 일부 샘플을 추출하여 작업하기 위해 데이터 샘플링을 수행할 수 있습니다. Go 언어에서는 rand 패키지를 사용하여 난수를 생성하고, 데이터에서 무작위로 샘플을 추출할 수 있습니다. 아래는 데이터에서 무작위로 10개의 샘플을 추출하는 예제 코드입니다.

package main

import (
    "fmt"
    "math/rand"
    "time"
)

func main() {
    data := []string{"A", "B", "C", "D", "E", "F", "G", "H", "I", "J", "K"}

    // 랜덤 시드 설정
    rand.Seed(time.Now().UnixNano())

    // 데이터에서 무작위로 10개 샘플 추출
    samples := make([]string, 10)
    for i := 0; i < 10; i++ {
        index := rand.Intn(len(data))
        samples[i] = data[index]
    }

    fmt.Println(samples)
}

위에서는 rand.Seed() 함수를 사용하여 시드 값을 설정하고, rand.Intn() 함수를 사용하여 무작위로 인덱스를 생성하여 데이터에서 샘플을 추출합니다.

결론

Go 언어에서 데이터 전처리를 위한 여러가지 작업을 살펴보았습니다. CSV 파일 읽기, 데이터 정제, 데이터 변환, 데이터 샘플링 등의 작업을 수행할 수 있습니다. 이러한 전처리 과정은 데이터 분석 및 기계 학습 모델 훈련에 필수적인 과정이므로 알아두시기 바랍니다.