[python] 파이썬 네이처언어 프로세싱 라이브러리를 이용한 뉴스 토픽 추출

21 Dec 2023

python

이번 블로그에서는 파이썬의 자연어 처리 라이브러리를 사용하여 뉴스 기사의 주제를 추출하는 방법에 대해 알아보겠습니다.

1. 자연어 처리(NLP) 라이브러리 소개

파이썬에는 자연어 처리에 유용한 여러 라이브러리가 있습니다. 그 중에서도 NLTK(Natural Language Toolkit), Spacy, Gensim 등이 널리 사용되고 있습니다. 각 라이브러리는 다양한 자연어 처리 기능을 제공하여 텍스트 데이터를 처리하고 분석하는 데 도움이 됩니다.

2. 뉴스 데이터 수집

우선, 뉴스 주제를 추출하기 위해 뉴스 데이터를 수집해야 합니다. 예를 들어, BeautifulSoup나 Scrapy를 사용하여 웹 스크래핑을 통해 뉴스 기사를 수집할 수 있습니다.

import requests
from bs4 import BeautifulSoup

url = 'http://www.example.com/news'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
news_headlines = soup.find_all('h2', class_='headline')

for headline in news_headlines:
    print(headline.text)

3. 주제 추출

수집된 뉴스 기사를 처리하여 주제를 추출하는 과정은 다음과 같습니다.

3.1 토큰화(Tokenization)

토큰화는 텍스트를 단어 또는 문장으로 나누는 작업을 말합니다. 이를 위해 NLTK나 Spacy와 같은 라이브러리를 사용할 수 있습니다.

import nltk
from nltk.tokenize import word_tokenize

text = "뉴스 기사의 내용을 토큰화합니다."
tokens = word_tokenize(text)
print(tokens)

3.2 품사 태깅(Part-of-speech Tagging)

품사 태깅은 각 단어의 품사를 태깅하는 작업을 말합니다. NLTK나 Spacy를 사용하여 품사 태깅을 수행할 수 있습니다.

import spacy

nlp = spacy.load('en_core_web_sm')
doc = nlp("This is a news article.")
for token in doc:
    print(token.text, token.pos_)

3.3 명사 추출(Noun Extraction)

주제 추출을 위해 명사를 추출할 수 있습니다. 명사를 추출하기 위해서는 Spacy나 NLTK와 같은 라이브러리를 사용하여 명사 태깅을 수행한 뒤 명사를 추출할 수 있습니다.

nouns = [token.text for token in doc if token.pos_ == 'NOUN']
print(nouns)

4. 결과 분석

주제 추출을 완료한 후, 이를 통계적으로 분석하거나 시각화하여 어떤 주제가 가장 많이 다뤄졌는지 등을 알아볼 수 있습니다.

이상으로 파이썬을 사용하여 뉴스 기사의 주제를 추출하는 방법에 대해 알아보았습니다. 언급된 라이브러리들을 사용하여 실제 뉴스 데이터를 처리하고 분석해보시기 바랍니다.