[go] 스크래핑한 데이터를 CSV 파일로 저장하기

08 Dec 2023

이번에는 Go 언어를 사용하여 웹사이트에서 스크래핑한 데이터를 CSV 파일로 저장하는 방법에 대해 알아보겠습니다.

필요한 패키지 가져오기

먼저, 데이터 스크래핑을 위해 GoColly 패키지를 사용합니다. GoColly는 Go 언어를 위한 스크래핑 프레임워크로, 간단한 사용법과 확장성이 특징입니다.

import (
    "encoding/csv"
    "os"
    "github.com/gocolly/colly"
)

데이터 스크래핑하고 CSV 파일로 저장하기

이제, GoColly를 사용하여 웹페이지를 스크래핑하고 데이터를 CSV 파일로 저장하는 예제 코드를 살펴보겠습니다.

func main() {
    c := colly.NewCollector()

    // 스크래핑할 데이터 수집
    var data [][]string
    c.OnHTML("div.post", func(e *colly.HTMLElement) {
        title := e.ChildText("h1")
        author := e.ChildText("p.author")
        data = append(data, []string{title, author})
    })

    // 스크래핑할 웹페이지 지정
    c.Visit("https://example.com")

    // CSV 파일로 저장
    file, err := os.Create("scraped_data.csv")
    if err != nil {
        panic("Error creating CSV file")
    }
    defer file.Close()

    writer := csv.NewWriter(file)
    defer writer.Flush()

    for _, value := range data {
        err := writer.Write(value)
        if err != nil {
            panic("Error writing to CSV")
        }
    }
}

위의 예제 코드는 GoColly를 사용하여 웹페이지에서 div.post에 있는 제목과 작성자 정보를 스크래핑한 후, scraped_data.csv 파일로 저장하는 방법을 보여줍니다.

이제, 위의 예제 코드를 실행하면 지정된 웹페이지에서 스크래핑한 데이터가 CSV 파일로 저장될 것입니다.

이것으로 Go로 스크래핑한 데이터를 CSV 파일로 저장하는 방법에 대해 알아보았습니다. GoColly를 사용하면 간단한 코드로 데이터 스크래핑 및 저장 기능을 구현할 수 있습니다.