Colin's Blog
[python] 파이썬에서 키 입력으로 뉴스 크롤링하기

파이썬은 매우 강력한 프로그래밍 언어이며, 다양한 작업을 수행할 수 있습니다. 이 중에서도 웹 크롤링은 파이썬을 이용한 대표적인 작업 중 하나입니다. 이번에는 파이썬에서 키 입력을 받아서 웹에서 뉴스를 크롤링하는 방법에 대해서 알아보도록 하겠습니다.

뉴스 크롤링을 위한 패키지 설치

파이썬을 사용하여 웹 크롤링을 하기 위해 Requests와 BeautifulSoup 라이브러리를 설치해야 합니다. 다음과 같이 명령어를 실행하여 두 가지 패키지를 설치합니다.

pip install requests
pip install beautifulsoup4

키 입력 받기

뉴스 크롤링을 하기 위해 사용자로부터 키 입력을 받아야 합니다. 파이썬에서는 input() 함수를 사용하여 키 입력을 받을 수 있습니다. 다음은 사용자로부터 키 입력을 받는 코드입니다.

keyword = input("뉴스 키워드를 입력하세요: ")

위 코드는 사용자로부터 “뉴스 키워드를 입력하세요: “라는 메시지를 출력한 후에 키 입력을 받아서 keyword 변수에 저장합니다.

뉴스 크롤링하기

이제 사용자로부터 받은 키워드를 바탕으로 뉴스를 크롤링하는 코드를 작성해보겠습니다.

import requests
from bs4 import BeautifulSoup

url = "https://news.naver.com"
res = requests.get(url)
res.raise_for_status()

soup = BeautifulSoup(res.text, "html.parser")
news_list = soup.find_all(class_="list_issue")

for news in news_list:
    title = news.find(class_="link_issue").get_text()
    link = news.find(class_="link_issue").get("href")
    print(title, link)

위 코드는 네이버 뉴스 페이지에서 뉴스 제목과 링크를 크롤링하는 예시입니다. 크롤링한 뉴스 제목과 링크를 출력하는 부분을 사용자로부터 받은 키워드와 비교하여 원하는 정보를 추출할 수 있습니다.

실행결과

위 코드를 실행하면 다음과 같은 결과를 얻을 수 있습니다.

키 입력: IT
[IT 뉴스 제목1] [링크1]
[IT 뉴스 제목2] [링크2]
...

위와 같이 사용자가 “IT”라는 키워드를 입력하면 해당하는 뉴스 제목과 링크를 출력하는 결과를 얻을 수 있습니다.

결론

이번에는 파이썬에서 키 입력을 받아서 뉴스를 크롤링하는 방법에 대해서 알아보았습니다. 파이썬을 이용한 웹 크롤링은 다양한 작업에 유용하게 사용될 수 있으므로 앞으로도 많이 활용해보시기 바랍니다.

참고 자료

© 2018 Colin. All rights reserved.