[java] Jsoup을 사용하여 웹페이지 데이터 요청하기

15 Nov 2023

java

웹 크롤링이나 웹 페이지 스크래핑을 하기 위해서는 웹페이지의 HTML 코드를 가져와야합니다. Java에서는 Jsoup 라이브러리를 사용하여 간편하게 웹페이지 데이터를 요청할 수 있습니다. 이번 글에서는 Jsoup을 사용하여 웹페이지 데이터를 요청하는 방법을 알아보겠습니다.

1. Jsoup 라이브러리 추가하기

먼저, Maven이나 Gradle을 사용하는 경우 pom.xml 또는 build.gradle 파일에 Jsoup 의존성을 추가해야합니다. 아래의 코드를 참조하여 의존성을 추가하세요.

<!-- Maven -->
<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.13.1</version>
</dependency>

// Gradle
implementation 'org.jsoup:jsoup:1.13.1'

의존성을 추가한 후에는 새로고침하여 Maven 또는 Gradle 프로젝트를 동기화해야합니다.

2. 웹페이지 데이터 요청하기

이제 Jsoup을 사용하여 웹페이지 데이터를 요청할 수 있습니다. 아래의 코드를 참조하여 웹페이지 데이터를 요청하는 방법을 알아보세요.

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import java.io.IOException;

public class WebPageRequestExample {
    public static void main(String[] args) {
        try {
            // 웹페이지 URL 설정
            String url = "https://www.example.com";

            // Jsoup을 사용하여 웹페이지 데이터 요청
            Document document = Jsoup.connect(url).get();

            // 웹페이지의 HTML 코드 출력
            System.out.println(document.html());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

위의 코드에서는 Jsoup.connect(url).get() 메서드를 사용하여 웹페이지 데이터를 요청하고, Document 객체에 응답을 저장합니다. 이후 document.html() 메서드를 사용하여 웹페이지의 HTML 코드를 출력합니다.

3. 결과 확인하기

위의 코드를 실행하면 해당 웹페이지의 HTML 코드가 콘솔에 출력됩니다. 이를 통해 필요한 데이터를 추출하거나 원하는 작업을 수행할 수 있습니다.

참고 자료

위의 자료를 참고하여 더 자세한 내용을 학습하실 수 있습니다. Jsoup은 다양한 기능과 옵션을 제공하므로 필요에 따라 문서를 참고하여 사용해보세요.