[파이썬] nltk 텍스트 데이터의 시각화

06 Sep 2023

nltk

자연어 처리(NLP) 작업에 사용되는 텍스트 데이터의 시각화는 데이터 탐색과 이해를 돕는 중요한 과정입니다. 이를 통해 텍스트 데이터의 구조, 분포, 주요 단어 등을 시각적으로 파악할 수 있습니다. 이번 포스트에서는 파이썬의 NLTK(Natural Language Toolkit) 라이브러리를 사용하여 텍스트 데이터를 시각화하는 방법에 대해 알아보겠습니다.

필요한 라이브러리 설치

먼저 NLTK 라이브러리와 함께 사용될 다른 필수적인 라이브러리를 설치해야 합니다. 아래 명령을 사용하여 필요한 라이브러리를 설치하세요.

!pip install nltk matplotlib wordcloud

텍스트 데이터 불러오기

텍스트 데이터를 불러와야 시각화를 할 수 있습니다. 이 예제에서는 NLTK 라이브러리에서 제공하는 영화 리뷰 데이터를 사용하겠습니다. 데이터를 불러오기 위해 NLTK를 다음과 같이 임포트하고 필요한 데이터를 다운로드합니다.

import nltk
nltk.download('movie_reviews')

텍스트 데이터 탐색

텍스트 데이터의 구조와 분포를 파악하기 위해 일반적인 통계적 방법과 시각화 기법을 사용할 수 있습니다. NLTK에서 제공하는 도구를 사용하여 텍스트 데이터를 탐색할 수 있습니다. 예를 들어, 텍스트의 길이 분포를 알아보기 위해 다음과 같은 코드를 사용할 수 있습니다.

from nltk.corpus import movie_reviews

# 영화 리뷰 데이터 불러오기
reviews = [(list(movie_reviews.words(fileid)), category)
           for category in movie_reviews.categories()
           for fileid in movie_reviews.fileids(category)]

# 리뷰의 길이 분포 확인
review_lengths = [len(review) for review, _ in reviews]

import matplotlib.pyplot as plt

# 히스토그램으로 시각화
plt.hist(review_lengths, bins=50)
plt.xlabel('Review Length')
plt.ylabel('Frequency')
plt.show()

단어 빈도 시각화

텍스트 데이터에서 가장 빈번하게 등장하는 단어들을 파악하는 것은 중요한 단계입니다. 단어 빈도를 시각화하여 어떤 단어가 얼마나 많이 등장하는지 쉽게 파악할 수 있습니다. 아래 코드는 영화 리뷰 데이터에서 단어 빈도를 시각화하는 예제입니다.

from nltk.probability import FreqDist

# 모든 단어 추출
all_words = [word for review, _ in reviews for word in review]

# 단어 빈도 계산
freq_dist = FreqDist(all_words)

# 상위 20개 단어 추출
top_words = freq_dist.most_common(20)

# 시각화
plt.xticks(rotation=45)
plt.bar(*zip(*top_words))
plt.xlabel('Words')
plt.ylabel('Frequency')
plt.show()

워드 클라우드 생성

원하는 단어의 시각적 표현을 제공하는 워드 클라우드는 텍스트 데이터의 시각화에 널리 사용됩니다. 아래 코드는 영화 리뷰 데이터에서 워드 클라우드를 생성하는 예제입니다.

from wordcloud import WordCloud

# 워드 클라우드 생성
wordcloud = WordCloud(width=800, height=400).generate(' '.join(all_words))

# 워드 클라우드 시각화
plt.figure(figsize=(10, 5))
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis('off')
plt.show()

결론

NLTK를 사용하여 텍스트 데이터를 시각화하는 방법에 대해 알아보았습니다. 텍스트의 구조, 분포, 주요 단어 등을 시각적으로 파악할 수 있으므로 NLP 작업에 유용한 도구입니다. 이러한 시각화 기법을 활용하여 텍스트 데이터를 탐색하고 이해하는 데 도움이 되길 바랍니다.

Reference:
NLTK 영화 리뷰 데이터셋 Matplotlib WordCloud