[java] Jsoup을 사용하여 웹페이지 응답 데이터 디코딩 방식 설정하기

15 Nov 2023

java

웹 스크래핑이나 크롤링 작업을 할 때, Jsoup은 매우 유용한 라이브러리입니다. 그러나 때로는 웹페이지가 특정 인코딩 방식으로 디코딩 되어야하는 경우가 있습니다. 이번 기사에서는 Jsoup을 사용하여 웹페이지 응답 데이터의 디코딩 방식을 설정하는 방법을 배워보겠습니다.

Jsoup으로 웹페이지 응답 데이터 받기

먼저, Jsoup을 사용하여 웹페이지의 응답 데이터를 받아오는 방법에 대해 알아보겠습니다. 아래는 간단한 예제 코드입니다.

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class Main {
    public static void main(String[] args) {
        try {
            String url = "https://example.com";
            Document doc = Jsoup.connect(url).get();

            // 데이터 처리 로직 작성
            // ...

        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

위의 코드에서 Jsoup.connect(url).get() 메소드를 사용하여 지정된 URL에 대한 HTTP GET 요청을 수행하고, 응답 데이터를 Document 객체로 받아옵니다.

디코딩 방식 설정하기

디코딩 방식을 설정하기 위해선, Connection 객체의 execute() 메소드를 사용하여 HTTP 요청을 수행해야합니다. 아래는 인코딩 방식을 설정하는 예제 코드입니다.

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class Main {
    public static void main(String[] args) {
        try {
            String url = "https://example.com";
            Connection.Response response = Jsoup.connect(url)
                    .execute();

            // 응답 데이터의 인코딩 방식을 설정
            Document doc = response.parse();

            // 데이터 처리 로직 작성
            // ...

        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

위의 코드에서 Connection.Response 객체를 받아온 후, parse() 메소드를 호출하여 응답 데이터를 Document 객체로 변환합니다. 이때, Response 객체는 charset() 메소드를 통해 현재 데이터의 인코딩 방식을 확인할 수 있습니다.

인코딩 방식 설정 예제

이제 특정 인코딩 방식으로 응답 데이터를 디코딩하기 위해 execute() 메소드에 charset() 메소드를 사용해서 인코딩 방식을 설정해보겠습니다. 아래 코드를 참고하세요.

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class Main {
    public static void main(String[] args) {
        try {
            String url = "https://example.com";
            Connection.Response response = Jsoup.connect(url)
                    .execute();

            String encoding = "EUC-KR"; // 디코딩 방식 설정
            Document doc = Jsoup.parse(response.body(), encoding);

            // 데이터 처리 로직 작성
            // ...

        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

위의 코드에서 Jsoup.parse() 메소드를 사용하여 응답 데이터를 특정 인코딩 방식으로 디코딩합니다. EUC-KR은 한글을 디코딩하기 위해 주로 사용하는 방식입니다.

마치며

이번 기사에서는 Jsoup을 사용하여 웹페이지 응답 데이터의 디코딩 방식을 설정하는 방법을 알아보았습니다. 이를 통해 웹 스크래핑이나 크롤링 작업시 필요한 데이터를 원하는 디코딩 방식으로 정확하게 가져올 수 있습니다. Jsoup의 다양한 기능을 활용하여 더욱 효율적인 웹 데이터 처리를 할 수 있기를 바랍니다.

참고 문서

Jsoup 공식 문서