[python] Requests 라이브러리에서 사용자 에이전트를 랜덤하게 설정하는 방법은?

22 Nov 2023

python

import requests
from random import choice

user_agents = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
    "Mozilla/5.0 (Windows NT 5.1; rv:40.0) Gecko/20100101 Firefox/40.0",
    "Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; AS; rv:11.0) like Gecko",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/601.3.9 (KHTML, like Gecko) Version/9.0.2 Safari/601.3.9"
]

headers = {'User-Agent': choice(user_agents)}

response = requests.get('https://www.example.com', headers=headers)
print(response.text)

위 코드에서 user_agents 리스트에 여러 사용자 에이전트 값을 저장합니다. choice() 함수를 사용하여 이 중에서 무작위로 선택한 값을 headers 변수의 User-Agent 헤더 값으로 설정합니다. 그런 다음 requests.get() 함수를 호출할 때 headers 매개 변수에 설정한 헤더 값을 전달하여 요청을 보냅니다.

이렇게 하면 매번 요청을 보낼 때마다 다른 사용자 에이전트 값을 사용하여 웹 서버에 접속하게 되므로, 에이전트 추적을 우회할 수 있습니다.

참조:

Requests 라이브러리 문서: https://docs.python-requests.org/en/latest/