[java] Jsoup을 사용하여 웹페이지 응답 데이터 정렬하기

15 Nov 2023

java

이번 포스트에서는 Java에서 Jsoup 라이브러리를 사용하여 웹페이지의 응답 데이터를 가져와 정렬하는 방법을 알아보겠습니다.

Jsoup이란?

Jsoup은 Java로 작성된 HTML 파서 라이브러리로, HTML 문서를 파싱하고 조작할 수 있는 기능을 제공합니다. Jsoup을 사용하면 웹페이지의 HTML 구조를 분석하고 원하는 데이터를 추출할 수 있습니다.

의존성 추가

먼저 프로젝트에 Jsoup 라이브러리의 의존성을 추가해야 합니다. Maven을 사용하는 경우, pom.xml 파일에 다음과 같이 의존성을 추가합니다:

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.14.1</version>
</dependency>

Gradle을 사용하는 경우, build.gradle 파일에 다음과 같이 의존성을 추가합니다:

implementation 'org.jsoup:jsoup:1.14.1'

웹페이지 데이터 가져오기

Jsoup을 사용하여 웹페이지의 데이터를 가져오려면 Jsoup.connect() 메소드를 사용하여 URL에 연결하고 .get() 메소드를 호출하여 응답 데이터를 가져와야 합니다. 다음은 예제 코드입니다:

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;

public class WebPageParser {
    public static void main(String[] args) {
        try {
            // URL에 연결하여 HTML 데이터 가져오기
            Document document = Jsoup.connect("http://example.com").get();

            // 원하는 데이터 추출
            Elements elements = document.select("p");
            for (Element element : elements) {
                System.out.println(element.text());
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

위의 코드에서는 http://example.com 웹페이지에 연결하여 p 태그를 선택하고 해당 태그의 텍스트를 출력하는 예제입니다.

데이터 정렬하기

데이터를 가져온 후에는 필요에 따라 데이터를 정렬할 수 있습니다. 데이터를 정렬하려면 가져온 데이터를 적절한 자료구조에 저장한 후 정렬 알고리즘을 적용하면 됩니다.

예를 들어, 위의 예제에서 elements 변수에 웹페이지에서 선택한 데이터가 저장되어 있습니다. 이 데이터를 정렬하려면 elements를 리스트로 변환한 다음 자바의 Collections 클래스의 정렬 메소드를 사용하면 됩니다. 다음은 예제 코드입니다:

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Collections;
import java.util.List;

public class WebPageParser {
    public static void main(String[] args) {
        try {
            // URL에 연결하여 HTML 데이터 가져오기
            Document document = Jsoup.connect("http://example.com").get();

            // 원하는 데이터 추출
            Elements elements = document.select("p");

            // 데이터 정렬을 위해 리스트로 변환
            List<String> dataList = new ArrayList<>();
            for (Element element : elements) {
                dataList.add(element.text());
            }

            // 데이터 정렬
            Collections.sort(dataList);

            // 정렬된 데이터 출력
            for (String data : dataList) {
                System.out.println(data);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

위의 코드에서는 가져온 데이터를 dataList라는 리스트에 저장한 후 Collections.sort() 메소드를 사용하여 데이터를 오름차순으로 정렬한 뒤 출력합니다.

이제 위의 예제를 실행하면 웹페이지에서 가져온 데이터가 정렬되어 출력될 것입니다.

결론

이번 포스트에서는 Jsoup 라이브러리를 사용하여 Java에서 웹페이지의 응답 데이터를 가져오고, 해당 데이터를 정렬하는 방법에 대해 알아보았습니다. Jsoup은 간단하고 효율적인 HTML 파서로서 웹 스크래핑이나 데이터 추출 작업에 매우 유용하게 사용될 수 있습니다.

더 자세한 정보는 Jsoup 공식 문서를 참조하시기 바랍니다.