[python] 파이썬 웹 클라이언트를 사용해 웹페이지를 크롤링하는 방법은 무엇인가요?

20 Dec 2023

python

import requests

url = 'https://www.example.com'
response = requests.get(url)

if response.status_code == 200:
    content = response.content
    # 크롤링한 내용을 처리하는 코드를 작성하세요
else:
    print('Failed to retrieve the webpage')

이 코드는 requests 라이브러리를 사용하여 ‘https://www.example.com’의 내용을 가져옵니다. 이후 크롤링한 내용을 처리하는 부분을 추가하여 데이터를 추출하거나 분석할 수 있습니다.

이 예제 코드는 requests 라이브러리를 사용하는 간단한 방법을 보여줍니다. 더 복잡한 크롤링 작업을 위해서는 Beautiful Soup와 같은 HTML 파싱 라이브러리를 함께 사용할 수 있습니다. 크롤링에 대한 더 자세한 내용은 해당 문서를 참조하시기 바랍니다.

참고 문헌:

Requests 라이브러리: https://docs.python-requests.org/en/master/
Beautiful Soup: https://www.crummy.com/software/BeautifulSoup/bs4/doc/ ```