[python] 요청에 사용자 에이전트(User-Agent) 설정하기
요청을 보낼 때 사용자 에이전트(User-Agent)를 설정하는 것은 웹 스크래핑이나 웹 크롤링 프로젝트에서 매우 유용한 기능입니다. 사용자 에이전트를 설정하여 웹 서버에게 자신이 브라우저인 것처럼 속이고, 동일한 페이지에 대해 다른 응답을 받을 수 있습니다. 이번 포스팅에서는 Python의 requests 라이브러리를 사용하여 요청에 사용자 에이전트를 설정하는 방법을 알아보겠습니다.
requests 라이브러리 설치하기
먼저 requests 라이브러리를 설치해야 합니다. 다음 명령을 사용하여 설치할 수 있습니다.
pip install requests
사용자 에이전트 설정하기
requests 라이브러리를 사용하여 요청을 보낼 때, headers 매개변수를 사용하여 사용자 에이전트를 설정할 수 있습니다. 다음은 사용자 에이전트를 설정하는 간단한 예제 코드입니다.
import requests
url = 'https://www.example.com'
user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
headers = {'User-Agent': user_agent}
response = requests.get(url, headers=headers)
print(response.text)
위의 예제 코드에서는 user_agent 변수에 사용할 사용자 에이전트 문자열을 설정하고, headers 변수에는 User-Agent 헤더에 해당하는 키-값 쌍을 설정합니다. 이후 requests.get() 메서드에 headers 매개변수로 설정된 사용자 에이전트를 전달하여 요청을 보냅니다.
사용자 에이전트 확인하기
사용자 에이전트가 성공적으로 설정되었는지 확인하기 위해서는 웹 페이지의 응답을 확인해야 합니다. 다음은 응답의 상태 코드와 응답 헤더를 확인하는 방법입니다.
print(response.status_code) # 응답의 상태 코드
print(response.headers) # 응답의 헤더 정보
응답의 상태 코드가 200이면 요청이 성공적으로 처리되었음을 의미하며, response.headers를 통해 응답 헤더 정보를 확인할 수 있습니다.