[java] HttpClient를 사용하여 특정 웹 페이지에서 원하는 데이터를 추출하는 방법은?
  1. HttpClient 라이브러리 추가 먼저, HttpClient를 사용하기 위해 프로젝트에 HttpClient 라이브러리를 추가해야 합니다. Maven을 사용한다면, pom.xml 파일에 다음과 같이 의존성을 추가합니다.
<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.13</version>
</dependency>
  1. HttpClient 객체 생성 HttpClient 객체를 생성합니다.
CloseableHttpClient httpClient = HttpClients.createDefault();
  1. HttpGet 요청 설정 데이터를 추출하기 위해 HttpGet 요청을 설정합니다. 추출하고자 하는 웹 페이지의 URL을 전달합니다.
String url = "http://example.com";
HttpGet httpGet = new HttpGet(url);
  1. HttpGet 요청 실행 실제로 HttpGet 요청을 실행하고, 응답을 받아옵니다.
CloseableHttpResponse response = httpClient.execute(httpGet);
  1. 응답 처리 응답의 상태 코드를 확인하여 성공 여부를 판단하고, 데이터를 추출합니다.
int statusCode = response.getStatusLine().getStatusCode();
if (statusCode == 200) {
    // 응답이 성공적으로 받아졌을 경우 데이터 추출
    HttpEntity entity = response.getEntity();
    String data = EntityUtils.toString(entity);
    // 추출한 데이터를 원하는 방식으로 처리
} else {
    // 요청이 실패한 경우 예외 처리
}
  1. 자원 해제 모든 작업이 끝났으면, HttpClient 및 응답과 관련된 자원을 해제해줍니다.
response.close();
httpClient.close();

위의 예제는 Apache HttpClient 라이브러리를 사용하여 특정 웹 페이지에서 데이터를 추출하는 방법을 보여줍니다. HttpClient를 사용하면 웹 페이지에서 HTML 내용 뿐만 아니라, JSON 데이터 등 다양한 형태의 데이터도 추출할 수 있습니다.

더 자세한 내용은 Apache HttpClient 공식 문서를 참고하시기 바랍니다.