[java] Jsoup을 사용하여 웹페이지 응답 데이터 비교하기

15 Nov 2023

java

웹 개발에서는 종종 웹페이지에 표시되는 데이터를 비교해야하는 경우가 있습니다. 이를 위해 자바에서 널리 사용되는 Jsoup 라이브러리를 사용하면 손쉽게 웹페이지의 응답 데이터를 가져와 비교할 수 있습니다.

Jsoup 라이브러리란?

Jsoup은 자바로 작성된 HTML 파서입니다. 이 라이브러리를 사용하면 웹페이지의 HTML을 가져와 파싱하거나, 특정 엘리먼트를 선택하거나, 데이터를 추출하고 조작할 수 있습니다.

Jsoup 설치하기

Maven을 사용하는 경우, pom.xml 파일에 다음과 같이 의존성을 추가하면 됩니다:

<dependencies>
    <dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.14.1</version>
    </dependency>
</dependencies>

Gradle을 사용하는 경우, build.gradle 파일에 다음과 같이 의존성을 추가하면 됩니다:

dependencies {
    implementation 'org.jsoup:jsoup:1.14.1'
}

웹페이지의 응답 데이터 가져오기

다음은 Jsoup을 사용하여 웹페이지의 응답 데이터를 가져오는 예제입니다. 예를 들어, “https://example.com”의 HTML을 가져오려면 다음과 같이 작성할 수 있습니다:

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;

public class WebPageFetcher {

    public static void main(String[] args) {
        try {
            // 웹페이지 가져오기
            Document doc = Jsoup.connect("https://example.com").get();

            // 웹페이지에서 특정 엘리먼트 선택하기
            Elements elements = doc.select("h1");

            // 선택한 엘리먼트의 텍스트 출력하기
            for (Element element : elements) {
                System.out.println(element.text());
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

실행 결과는 “https://example.com” 웹페이지의 <h1> 태그들의 텍스트를 출력합니다.

웹페이지 응답 데이터 비교하기

이제 Jsoup을 사용하여 웹페이지의 응답 데이터를 가져왔다면, 다른 웹페이지의 데이터와 비교해보겠습니다. 예를 들어, “https://example.com”과 “https://example.net”의 <h1> 태그의 텍스트를 비교하려면 다음과 같이 작성할 수 있습니다:

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;

public class WebPageComparator {

    public static void main(String[] args) {
        try {
            // 첫 번째 웹페이지 가져오기
            Document doc1 = Jsoup.connect("https://example.com").get();

            // 두 번째 웹페이지 가져오기
            Document doc2 = Jsoup.connect("https://example.net").get();

            // 첫 번째 웹페이지에서 특정 엘리먼트 선택하기
            Elements elements1 = doc1.select("h1");

            // 두 번째 웹페이지에서 특정 엘리먼트 선택하기
            Elements elements2 = doc2.select("h1");

            // 선택한 엘리먼트의 텍스트 비교하기
            for (int i = 0; i < elements1.size(); i++) {
                Element element1 = elements1.get(i);
                Element element2 = elements2.get(i);
                if (element1.text().equals(element2.text())) {
                    System.out.println("Same text: " + element1.text());
                } else {
                    System.out.println("Different text: " + element1.text() + " vs " + element2.text());
                }
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

실행 결과는 “https://example.com”의 <h1> 태그와 “https://example.net”의 <h1> 태그를 비교하여 텍스트가 동일한지 여부를 출력합니다.

마치며

이렇게 Jsoup을 사용하여 웹페이지의 응답 데이터를 가져와 비교하는 방법을 알아보았습니다. Jsoup은 웹 스크래핑이나 데이터 분석 등 다양한 웹 개발 작업에 유용한 도구입니다. 자세한 내용은 Jsoup 공식 문서를 참고하시기 바랍니다.