[java] Jsoup을 사용하여 웹페이지 리다이렉트 정보 추출하기
웹 크롤링을 수행할 때, 종종 웹페이지가 리다이렉트되는 경우가 있습니다. 이러한 경우에는 Jsoup을 사용하여 웹페이지의 리다이렉트 정보를 추출할 수 있습니다.
Jsoup이란?
Jsoup은 Java 언어로 작성된 HTML 파싱 라이브러리입니다. HTML 문서를 파싱하고 원하는 요소를 추출하는 등 다양한 웹 스크래핑 작업을 수행할 수 있습니다.
웹페이지 리다이렉트 정보 추출하기
아래는 Jsoup을 사용하여 웹페이지의 리다이렉트 정보를 추출하는 예제 코드입니다. 이 예제 코드는 Java 언어로 작성되었습니다.
import org.jsoup.Connection;
import org.jsoup.Jsoup;
public class RedirectInfoExtractor {
public static void main(String[] args) {
try {
String url = "https://example.com";
Connection.Response response = Jsoup.connect(url)
.method(Connection.Method.GET)
.execute();
String redirectedUrl = response.url().toString();
int statusCode = response.statusCode();
System.out.println("Redirected URL: " + redirectedUrl);
System.out.println("Status Code: " + statusCode);
} catch (Exception e) {
e.printStackTrace();
}
}
}
위 예제 코드에서는 Jsoup.connect(url)을 통해 원하는 URL에 HTTP GET 요청을 보내고, response.url()로 리다이렉트된 URL을 추출합니다. response.statusCode()를 통해 HTTP 응답 상태 코드를 얻을 수 있습니다.
이 예제 코드를 실행하면, 해당 웹페이지의 리다이렉트된 URL과 HTTP 응답 상태 코드가 출력됩니다.