[java] HttpClient를 사용하여 웹 사이트에서 특정 키워드를 포함하는 페이지를 탐색하는 방법은?

16 Nov 2023

java

HttpClient 라이브러리를 다운로드하고 프로젝트에 추가합니다. 이 라이브러리는 Apache HttpClient 또는 OkHttp와 같은 다양한 옵션 중 하나를 선택할 수 있습니다.

HttpClient를 초기화하고 웹 사이트에 연결합니다. 다음은 HttpClient를 초기화하고 웹 사이트에 연결하는 예제 코드입니다.

HttpClient httpClient = new HttpClient();
httpClient.start();
   
String url = "http://www.example.com"; // 탐색할 웹 사이트 URL
Request request = httpClient.newRequest(url);
ContentResponse response = request.send();

페이지의 내용을 가져옵니다. 다음은 특정 키워드를 포함하는 페이지의 내용을 가져오는 예제 코드입니다.
```
String responseBody = response.getContentAsString(); // 페이지의 내용을 문자열로 가져옴
```
가져온 페이지의 내용에서 특정 키워드를 찾습니다. indexOf 또는 contains를 사용하여 키워드의 존재 여부를 확인할 수 있습니다. 다음은 특정 키워드를 검색하는 예제 코드입니다.
```
String keyword = "특정 키워드";
boolean containsKeyword = responseBody.contains(keyword); // 키워드가 페이지 내에 포함되는지 확인
```
검색 결과를 기반으로 원하는 동작을 수행합니다. 예를 들어, 키워드가 포함된 경우 페이지의 URL을 출력하거나 다른 작업을 수행할 수 있습니다.

위의 예제 코드는 HttpClient를 사용하여 웹 사이트에서 특정 키워드를 포함하는 페이지를 탐색하는 기본적인 방법을 보여줍니다. 필요에 따라 코드를 조정하고 예외 처리를 추가하여 원하는 동작을 구현할 수 있습니다.

참고 자료:

Apache HttpClient 문서: https://hc.apache.org/httpcomponents-client-ga/index.html
OkHttp 문서: https://square.github.io/okhttp/