[java] Jsoup을 사용하여 웹페이지 응답 데이터 형식 설정하기

15 Nov 2023

java

웹 크롤링을 하거나 웹 페이지 데이터를 스크래핑하는 경우, Jsoup은 자바에서 매우 유용한 라이브러리입니다. Jsoup을 사용하면 웹페이지의 HTML 구조를 파싱하고, 원하는 데이터를 추출할 수 있습니다.

하지만 때때로 웹 페이지에서 반환되는 데이터 형식을 제어하고 싶을 때도 있습니다. 예를 들어, 웹 사이트에서 JSON 형식으로 데이터를 받고 싶거나, XML 형식으로 데이터를 요청하고 싶을 수 있습니다. 이런 경우에는 Jsoup을 사용하여 웹페이지 응답 데이터의 형식을 설정할 수 있습니다.

다음은 Jsoup을 사용하여 웹페이지 응답 데이터의 형식을 설정하는 예제입니다.

import org.jsoup.Connection;
import org.jsoup.Jsoup;

public class WebPageFetcher {
    public static void main(String[] args) {
        String url = "https://example.com";
        
        try {
            Connection.Response response = Jsoup.connect(url)
                                                .header("Content-Type", "application/json") // 원하는 데이터 형식으로 설정
                                                .ignoreContentType(true)
                                                .execute();

            String responseData = response.body();
            System.out.println(responseData);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

위의 예제에서는 Jsoup.connect(url)을 사용하여 웹페이지에 연결하고, header("Content-Type", "application/json")을 사용하여 원하는 데이터 형식인 JSON으로 설정하였습니다. ignoreContentType(true)를 호출하여 Jsoup이 컨텐츠 타입을 무시하도록 설정하였습니다.

그러면 Jsoup을 사용하여 웹페이지에서 반환되는 데이터 형식을 원하는 대로 설정할 수 있습니다. 위의 예제는 JSON 형식의 데이터를 설정한 예제이지만, 다른 데이터 형식을 사용하고 싶은 경우에도 비슷한 방법으로 설정할 수 있습니다.

더 자세한 정보를 원하시면, Jsoup 공식 문서를 참고하시기 바랍니다.