[go] Go 언어로 웹 페이지 크롤링하기

07 Dec 2023

Go 언어는 효율적이고 간결한 문법을 가지고 있어 웹 크롤링과 같은 작업을 쉽게 할 수 있는 언어입니다. 이번 포스트에서는 Go 언어를 사용하여 간단한 웹 페이지 크롤러를 만드는 방법을 알아보겠습니다.

필요한 패키지 가져오기

먼저 Go 언어의 표준 라이브러리에서 제공하는 net/http 패키지와 HTML 파싱을 위한 golang.org/x/net/html 패키지를 가져와야 합니다. 다음 명령을 터미널에서 실행하여 필요한 패키지를 다운로드합니다.

go get golang.org/x/net/html

웹 페이지 요청하기

package main

import (
    "fmt"
    "net/http"
    "io/ioutil"
)

func main() {
    // 웹 페이지 요청
    url := "https://www.example.com"
    response, err := http.Get(url)
    if err != nil {
        fmt.Println("HTTP 요청 에러:", err)
        return
    }
    defer response.Body.Close()

    // 응답 데이터 읽기
    body, err := ioutil.ReadAll(response.Body)
    if err != nil {
        fmt.Println("응답 데이터 읽기 에러:", err)
        return
    }

    // 읽은 데이터 출력
    fmt.Println(string(body))
}

위의 코드는 주어진 URL의 웹 페이지를 가져오고, 응답 데이터를 출력하는 간단한 예제입니다. http.Get() 함수를 사용하여 HTTP GET 요청을 보내고, ioutil.ReadAll() 함수를 사용하여 응답 데이터를 읽어옵니다.

HTML 파싱하기

package main

import (
    "fmt"
    "net/http"
    "io/ioutil"
    "golang.org/x/net/html"
)

func main() {
    // 웹 페이지 요청
    url := "https://www.example.com"
    response, err := http.Get(url)
    if err != nil {
        fmt.Println("HTTP 요청 에러:", err)
        return
    }
    defer response.Body.Close()

    // 응답 데이터 읽기
    body, err := ioutil.ReadAll(response.Body)
    if err != nil {
        fmt.Println("응답 데이터 읽기 에러:", err)
        return
    }

    // HTML 파싱
    doc, err := html.Parse(strings.NewReader(string(body)))
    if err != nil {
        fmt.Println("HTML 파싱 에러:", err)
        return
    }

    // 파싱된 HTML 출력
    printHTML(doc)
}

func printHTML(n *html.Node) {
    if n.Type == html.ElementNode {
        fmt.Println(n.Data)
    }
    for c := n.FirstChild; c != nil; c = c.NextSibling {
        printHTML(c)
    }
}

위의 코드에서는 golang.org/x/net/html 패키지를 사용하여 파싱된 HTML을 출력하는 함수 printHTML()을 추가했습니다. html.Parse() 함수를 사용하여 웹 페이지의 HTML을 파싱한 다음, printHTML() 함수를 호출하여 파싱된 HTML을 출력합니다.

결론

Go 언어를 사용하여 웹 페이지를 크롤링하는 방법에 대해 간단한 예제를 살펴보았습니다. Go 언어의 간결한 문법과 효율적인 실행 속도를 활용하여 다양한 크롤링 작업을 쉽게 구현할 수 있습니다.

더 많은 정보를 찾고 싶다면 Go 언어 공식 문서를 참고하십시오.