[java] HttpClient를 사용하여 웹 사이트에서 특정 기간 동안의 데이터를 추출하는 방법은?

16 Nov 2023

java

특정 기간 동안의 데이터를 추출하기 위해 HttpClient를 사용하는 방법에 대해 알아보겠습니다.

먼저 HttpClient를 사용하기 위해 Apache HttpComponents 라이브러리를 프로젝트에 추가해야 합니다. Maven을 사용하는 경우 pom.xml 파일에 다음과 같은 의존성을 추가하십시오.

<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.12</version>
</dependency>

HttpClient를 사용하여 웹 사이트에서 데이터를 추출하는 간단한 예제 코드를 작성해보겠습니다. 다음 예제는 특정 기간 동안의 데이터를 추출하는 코드입니다.

import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.ResponseHandler;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;

import java.io.IOException;

public class WebDataExtractor {

    public static void main(String[] args) throws IOException {
        HttpClient httpclient = HttpClients.createDefault();
        HttpGet httpGet = new HttpGet("http://example.com/data?start=2020-01-01&end=2020-12-31");

        // HTTP 응답 처리를 위한 ResponseHandler 정의
        ResponseHandler<String> responseHandler = new ResponseHandler<String>() {
            @Override
            public String handleResponse(HttpResponse response) throws IOException {
                int status = response.getStatusLine().getStatusCode();
                if (status >= 200 && status < 300) {
                    return EntityUtils.toString(response.getEntity());
                } else {
                    throw new ClientProtocolException("Unexpected response status: " + status);
                }
            }
        };

        // HTTP Get 요청 실행
        String responseBody = httpclient.execute(httpGet, responseHandler);

        // 추출한 데이터를 처리하는 로직 추가
        System.out.println(responseBody);

        // HttpClient 종료
        ((CloseableHttpClient) httpclient).close();
    }
}

위의 코드에서는 HttpClient를 사용하여 http://example.com 웹 사이트의 /data 엔드포인트에서 start와 end 파라미터를 사용하여 특정 기간 동안의 데이터를 추출합니다. 응답은 문자열 형식으로 받아온 뒤 원하는 방식으로 처리할 수 있습니다.

이 예제는 간단한 데이터 추출에만 초점을 맞춘 것이므로 실제 프로덕션 환경에서 사용할 때는 파라미터 유효성 검사, 오류 처리 등을 추가해야 합니다.

참고 자료: