[java] Jsoup을 사용하여 웹페이지 응답 데이터 분석하기

15 Nov 2023

java

웹 크롤링이나 데이터 스크래핑을 할 때, 웹페이지의 응답 데이터를 가져와 분석해야 하는 경우가 많습니다. Jsoup은 Java에서 HTML을 파싱하고 조작할 수 있는 편리한 라이브러리입니다. 이번 글에서는 Jsoup을 사용하여 웹페이지의 응답 데이터를 분석하는 방법에 대해 알아보겠습니다.

1. Jsoup 설치하기

먼저, Jsoup을 사용하기 위해 Maven이나 Gradle과 같은 의존성 관리 도구에 다음과 같이 의존성을 추가해야 합니다.

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.13.1</version>
</dependency>

의존성을 추가한 후 프로젝트를 빌드하면 Jsoup을 사용할 준비가 끝납니다.

2. 웹페이지 응답 데이터 가져오기

Jsoup을 사용하여 웹페이지의 응답 데이터를 가져오기 위해서는 connect() 메서드를 사용하여 웹페이지의 URL에 접속해야 합니다. 아래는 예제 코드입니다.

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;

public class WebScraper {
    public static void main(String[] args) {
        try {
            // 웹페이지의 URL에 접속하여 Document 객체 생성
            Document doc = Jsoup.connect("http://example.com").get();

            // 웹페이지에서 원하는 데이터 추출하기
            Element titleElement = doc.selectFirst("title");
            String title = titleElement.text();

            System.out.println("Title: " + title);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

위의 코드에서는 Jsoup.connect() 메서드를 사용하여 “http://example.com”에 접속하고, get() 메서드를 호출하여 웹페이지의 응답 데이터를 가져옵니다. 그리고 selectFirst() 메서드를 사용하여 HTML 요소를 선택하고, text() 메서드를 호출하여 선택한 요소의 텍스트를 추출합니다.

3. 데이터 분석하기

Jsoup을 사용하여 가져온 웹페이지의 응답 데이터를 분석하는 방법은 다양합니다. 아래는 몇 가지 예제 코드입니다.

3.1. 요소 선택하기

Element bodyElement = doc.selectFirst("body");
String bodyText = bodyElement.text();

위의 코드는 selectFirst() 메서드를 사용하여 <body> 요소를 선택하고, text() 메서드를 호출하여 선택한 요소의 텍스트를 추출합니다.

3.2. 요소 필터링하기

Elements links = doc.select("a[href]");
for (Element link : links) {
    String href = link.attr("href");
    System.out.println(href);
}

위의 코드는 select() 메서드를 사용하여 <a> 요소 중에서 href 속성을 갖는 요소들을 선택하고, attr() 메서드를 호출하여 선택한 요소의 href 속성 값을 추출합니다.

3.3. CSS 선택자 사용하기

Elements paragraphs = doc.select("p.intro");
for (Element paragraph : paragraphs) {
    String text = paragraph.text();
    System.out.println(text);
}

위의 코드는 select() 메서드에 CSS 선택자를 사용하여 <p> 요소 중에서 class 속성 값이 “intro”인 요소들을 선택하고, text() 메서드를 호출하여 선택한 요소의 텍스트를 추출합니다.

4. 결론

Jsoup을 사용하여 웹페이지의 응답 데이터를 가져오고 분석하는 방법을 알아보았습니다. Jsoup을 잘 활용하면 웹 크롤링이나 데이터 스크래핑 작업을 더욱 편리하게 수행할 수 있습니다. 더 자세한 사용 방법은 Jsoup 공식 문서를 참고하시기 바랍니다.