[go] Go 언어를 활용한 웹 크롤링 에러 처리

07 Dec 2023

웹 크롤링은 인터넷에서 데이터를 수집하는 프로세스로 많은 양의 데이터를 수집할 때 유용합니다. 그러나 웹 크롤링 작업은 종종 에러와 예외 상황을 처리해야 할 필요가 있습니다. 이 글에서는 Go 언어를 사용하여 웹 크롤링 시 발생할 수 있는 에러와 예외를 처리하는 방법을 알아보겠습니다.

1. HTTP 에러 처리

Go 언어에서 HTTP 요청을 보내고 응답을 받을 때 발생할 수 있는 에러를 처리하는 방법을 살펴보겠습니다. 아래는 예시 코드입니다.

import (
	"fmt"
	"net/http"
	"io/ioutil"
)

func main() {
	// HTTP 요청 보내기
	response, err := http.Get("http://example.com")
	if err != nil {
		fmt.Println("HTTP 요청 에러:", err)
		return
	}
	defer response.Body.Close()

	// 응답 읽기
	body, err := ioutil.ReadAll(response.Body)
	if err != nil {
		fmt.Println("응답 읽기 에러:", err)
		return
	}

	fmt.Println(string(body))
}

위 코드에서는 http.Get() 함수를 사용하여 HTTP GET 요청을 보내고, 반환된 응답을 ioutil.ReadAll() 함수를 사용하여 읽습니다. 이때, http.Get()와 ioutil.ReadAll() 함수는 에러를 반환할 수 있습니다. 따라서, 에러를 처리하기 위해 err 변수를 체크하고 출력합니다.

2. 네트워크 에러 처리

웹 크롤링 중에는 네트워크 연결에 문제가 발생할 수 있습니다. 이 경우에는 네트워크 에러를 처리해야 합니다. 아래는 예시 코드입니다.

import (
	"fmt"
	"net/http"
)

func main() {
	// HTTP 요청 보내기
	transport := &http.Transport{}
	client := &http.Client{Transport: transport}
	response, err := client.Get("http://example.com")
	if err != nil {
		fmt.Println("네트워크 에러:", err)
		return
	}
	defer response.Body.Close()

	// 응답 처리
	// ...
}

위 코드에서는 HTTP 클라이언트의 Transport 개체를 사용하여 네트워크 설정을 커스터마이즈 합니다. client.Get() 함수를 사용하여 HTTP 요청을 보내고, 네트워크 에러가 발생하는 경우 err 변수에 에러 정보가 담기게 됩니다.

3. HTML 파싱 에러 처리

웹 크롤링 작업에서는 HTML 문서를 파싱하여 원하는 데이터를 추출해야 할 때가 많습니다. HTML 파싱 시 에러가 발생할 수 있으므로, 이를 처리해야 합니다. 아래는 예시 코드입니다.

import (
	"fmt"
	"net/http"
	"github.com/PuerkitoBio/goquery"
)

func main() {
	// HTTP 요청 보내기
	response, err := http.Get("http://example.com")
	if err != nil {
		fmt.Println("HTTP 요청 에러:", err)
		return
	}
	defer response.Body.Close()

	// goquery를 사용하여 HTML 파싱
	doc, err := goquery.NewDocumentFromReader(response.Body)
	if err != nil {
		fmt.Println("HTML 파싱 에러:", err)
		return
	}

	// 원하는 데이터 추출
	// ...
}

위 코드에서는 goquery.NewDocumentFromReader() 함수를 사용하여 응답 바디에서 HTML 문서를 파싱합니다. 만약 파싱 중에 에러가 발생한다면, err 변수에 에러 정보가 담기게 됩니다.

결론

Go 언어를 활용한 웹 크롤링 작업에서 발생할 수 있는 다양한 에러와 예외 상황을 처리하는 방법을 알아보았습니다. HTTP 에러, 네트워크 에러, HTML 파싱 에러 등을 적절하게 처리하여 안정적이고 신뢰성 있는 웹 크롤러를 개발할 수 있습니다.