[java] Jsoup을 사용하여 웹페이지 응답 데이터 병합하기

15 Nov 2023

java

이번 포스트에서는 Jsoup 라이브러리를 사용하여 웹페이지의 응답 데이터를 병합하는 방법에 대해 알아보겠습니다. Jsoup은 Java에서 HTML 파싱 및 조작을 위한 강력한 도구로 널리 사용되고 있습니다.

1. Jsoup 라이브러리 가져오기

먼저, 프로젝트에 Jsoup 라이브러리를 추가해야 합니다. Maven을 사용하는 경우, pom.xml 파일에 다음 의존성을 추가하세요:

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.13.1</version>
</dependency>

Gradle을 사용하는 경우, build.gradle 파일에 다음 의존성을 추가하세요:

dependencies {
    implementation 'org.jsoup:jsoup:1.13.1'
}

의존성을 추가한 후, 프로젝트를 다시 빌드해주세요.

2. 웹페이지 요청 및 데이터 병합하기

이제 Jsoup을 사용하여 웹페이지의 응답 데이터를 가져오고 병합하는 코드를 작성해보겠습니다.

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;

public class WebPageMergeExample {
    public static void main(String[] args) {
        String url1 = "https://www.example.com/page1";
        String url2 = "https://www.example.com/page2";
        
        try {
            // 웹페이지1의 데이터 가져오기
            Document doc1 = Jsoup.connect(url1).get();
            Elements data1 = doc1.select("div.data");
            
            // 웹페이지2의 데이터 가져오기
            Document doc2 = Jsoup.connect(url2).get();
            Elements data2 = doc2.select("div.data");

            // 데이터 병합하기
            for (Element element : data2) {
                data1.add(element);
            }

            // 병합된 데이터 출력하기
            for (Element element : data1) {
                System.out.println(element.text());
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

위의 예제 코드에서는 url1과 url2에서 각각 웹페이지의 데이터를 가져옵니다. 가져온 데이터를 data1과 data2 변수에 저장한 후, data2를 data1에 병합합니다. 마지막으로 병합된 데이터를 출력합니다.

병합된 데이터를 다른 용도로 활용하고 싶다면, 적절한 처리 로직을 추가하면 됩니다.

결론

이번 포스트에서는 Jsoup을 사용하여 웹페이지의 응답 데이터를 병합하는 방법에 대해 알아보았습니다. Jsoup을 이용하면 쉽게 웹페이지의 데이터를 파싱하고 조작할 수 있으므로, 웹 크롤링과 데이터 수집 등 다양한 용도로 활용할 수 있습니다.

더 자세한 내용은 Jsoup 공식 문서를 참조하세요.