개요

웹 스크래핑이나 API 호출 등과 같은 웹 요청을 보낼 때, 서버는 클라이언트의 사용자 에이전트(User-Agent) 헤더를 확인하여 요청을 처리합니다. 사용자 에이전트는 요청을 보내는 클라이언트의 소프트웨어나 앱을 식별하는 역할을 합니다. 따라서, 웹 사이트는 사용자 에이전트를 기반으로 다양한 정책을 적용하거나, 특정 사용자 에이전트에 대한 접근을 제한할 수 있습니다.

Python에서는 requests 라이브러리를 사용하여 웹 요청을 보낼 수 있습니다. 사용자 에이전트를 설정하여 봇으로 인식되지 않도록 하거나, 특정 사용자 에이전트로 요청을 보내고 싶을 때는 requests 라이브러리의 기능을 활용하면 됩니다.

코드 예시

import requests

url = 'https://www.example.com'
user_agent = 'My User Agent'

headers = {'User-Agent': user_agent}
response = requests.get(url, headers=headers)

# 해당 웹 사이트로부터 받은 응답 출력
print(response.text)

위의 코드 예시에서는 requests 라이브러리의 get 메서드를 사용하여 url에 GET 요청을 보냈습니다. 요청을 보낼 때 headers 매개변수를 이용하여 사용자 에이전트를 설정합니다. 이후 서버로부터 받은 응답은 response 객체에 저장되고, response.text를 통해 응답의 내용을 출력할 수 있습니다.

결론

Python에서는 requests 라이브러리를 사용하여 웹 요청을 보낼 때, 사용자 에이전트를 설정할 수 있습니다. 이를 통해 서버가 요청을 받을 때 원하는 사용자 에이전트로 인식되도록 하거나, 특정 정책을 적용하기 위한 작업을 수행할 수 있습니다.

관련 문서:

• Python requests 라이브러리 문서
• MDN Web Docs - User-Agent