파이썬은 강력한 프로그래밍 언어로 웹 크롤링을 쉽게 할 수 있습니다. 이번 포스트에서는 사용자로부터 키 입력을 받아서 웹 페이지를 크롤링하는 방법에 대해 알아보겠습니다.

필요한 도구 설치

먼저, 웹 크롤링을 위해 requests와 BeautifulSoup 모듈을 설치해야 합니다. 아래의 명령을 사용하여 설치할 수 있습니다.

pip install requests
pip install beautifulsoup4

코드 작성

이제 파이썬 코드를 작성해보겠습니다. 아래의 코드는 사용자로부터 키 입력을 받아서 해당하는 웹 페이지를 크롤링하는 예제입니다.

import requests
from bs4 import BeautifulSoup

# 사용자로부터 키 입력 받기
keyword = input("검색할 키워드를 입력하세요: ")

# 입력한 키워드로 네이버 검색 결과 페이지에 접속
url = f"https://search.naver.com/search.naver?query={keyword}"
response = requests.get(url)

# HTML 문서 파싱
soup = BeautifulSoup(response.text, "html.parser")

# 검색 결과 출력
results = soup.select(".title-link")
for result in results:
    print(result.text.strip())

이 코드는 사용자로부터 검색할 키워드를 입력 받고, 입력한 키워드를 이용하여 네이버 검색 결과 페이지에 접속합니다. 그리고 HTML 문서를 파싱하여 검색 결과를 출력합니다.

실행

위에서 작성한 코드를 파일에 저장한 후, 터미널에서 파이썬 스크립트를 실행합니다. 실행되면 사용자로부터 키워드를 입력 받고, 해당하는 검색 결과를 출력할 것입니다.

python web_crawling.py

마무리

위에서는 파이썬을 사용하여 사용자의 키 입력을 받아서 웹 페이지를 크롤링하는 방법을 알아보았습니다. 이러한 방식을 활용하여 다양한 웹 크롤링 작업을 수행할 수 있습니다. 자세한 내용은 requests와 BeautifulSoup의 공식 문서를 참고해보세요.