[java] HttpClient를 사용하여 특정 웹 서버에서 데이터를 스크랩하는 방법은?

16 Nov 2023

java

웹 스크랩이란 웹 페이지에서 데이터를 수집하고 분석하는 과정을 의미합니다. Java에서는 HttpClient 라이브러리를 사용하여 특정 웹 서버에서 데이터를 스크랩할 수 있습니다.

먼저, HttpClient를 사용하기 위해 의존성을 추가해야 합니다. Maven을 사용한다면 아래와 같이 pom.xml 파일에 의존성을 추가합니다:

<dependencies>
    <dependency>
        <groupId>org.apache.httpcomponents</groupId>
        <artifactId>httpclient</artifactId>
        <version>4.5.13</version>
    </dependency>
</dependencies>

HttpClient를 사용하여 특정 웹 서버에 GET 요청을 보내고 응답을 받는 예제 코드는 아래와 같습니다:

import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.util.EntityUtils;

public class WebScraper {

    public static void main(String[] args) {
        HttpClient httpClient = HttpClientBuilder.create().build();
        HttpGet httpGet = new HttpGet("http://www.example.com");

        try {
            HttpResponse httpResponse = httpClient.execute(httpGet);
            String responseBody = EntityUtils.toString(httpResponse.getEntity());
            System.out.println(responseBody);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

}

위의 코드에서는 HttpClientBuilder를 사용하여 HttpClient를 생성하고, HttpGet을 사용하여 GET 요청을 생성합니다. 그리고 execute 메서드를 통해 요청을 보내고, 응답을 받습니다. 마지막으로, 응답 본문을 문자열로 변환하여 출력합니다.

위의 예제로부터 얻은 응답을 파싱하여 원하는 데이터를 추출하는 경우에는 HTML 파싱 라이브러리(jsoup 등)를 사용하면 됩니다.

이 방법을 통해 HttpClient를 사용하여 특정 웹 서버에서 데이터를 스크랩할 수 있습니다.

참고 자료:

Apache HttpClient: https://hc.apache.org/httpcomponents-client-ga/
jsoup: https://jsoup.org/