파이썬을 사용한 트위터 Sentiment analysis 시스템 구축 방법

04 Oct 2023

python

1. 소개

트위터는 대중들의 의견과 감정을 공개적으로 나타낼 수 있는 소셜 미디어 플랫폼입니다. Sentiment Analysis는 텍스트 데이터 내에 있는 주관적인 의견이나 감성을 파악하는 기술로, 트위터 데이터를 분석하여 사용자들의 감정을 파악하는데 활용할 수 있습니다.

본 포스트에서는 파이썬을 사용하여 트위터 Sentiment Analysis 시스템을 구축하는 방법을 안내합니다.

2. 필요한 라이브러리 설치

트위터 Sentiment Analysis를 위해 다음과 같은 파이썬 라이브러리를 설치해야 합니다:

Tweepy - 트위터 API를 사용하기 위한 라이브러리
TextBlob - 감성 분석을 위한 라이브러리

다음 명령을 사용하여 라이브러리를 설치합니다:

pip install tweepy
pip install textblob

3. Twitter API 연결

트위터 API를 사용하기 위해서는 개발자 등록이 필요합니다. 등록 후에는 API 키와 액세스 토큰을 받을 수 있습니다. Tweepy를 사용하여 API와 연결합니다:

import tweepy

consumer_key = "YOUR_CONSUMER_KEY"
consumer_secret = "YOUR_CONSUMER_SECRET"
access_token = "YOUR_ACCESS_TOKEN"
access_token_secret = "YOUR_ACCESS_TOKEN_SECRET"

auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
api = tweepy.API(auth)

4. 데이터 수집

트위터 API를 사용하여 데이터를 수집합니다. 예를 들어, 특정 키워드에 대한 최근 트윗을 수집하는 방법은 다음과 같습니다:

tweets = []
keyword = "python"

for tweet in tweepy.Cursor(api.search, q=keyword, lang="en").items(100):
    tweets.append(tweet.text)

5. 데이터 전처리

수집한 트윗 데이터를 전처리하여 Sentiment Analysis에 사용할 수 있는 형태로 가공합니다. 이 과정에는 특수 문자 제거, 소문자 변환, 토큰화 등이 포함될 수 있습니다.

import re
from nltk.corpus import stopwords
from textblob import TextBlob

stop_words = set(stopwords.words("english"))

def preprocess_tweet(tweet):
    # 특수 문자 제거
    tweet = re.sub(r"[^\w\s]", "", tweet)

    # 소문자 변환
    tweet = tweet.lower()

    # 토큰화
    tokens = tweet.split()

    # 불용어 제거
    tokens = [token for token in tokens if token not in stop_words]

    return tokens

preprocessed_tweets = [preprocess_tweet(tweet) for tweet in tweets]

6. Sentiment Analysis 모델 구축

전처리된 데이터를 사용하여 Sentiment Analysis 모델을 구축합니다. TextBlob를 사용하여 각 트윗의 감성 점수를 계산할 수 있습니다:

sentiment_scores = [TextBlob(' '.join(tweet)).sentiment.polarity for tweet in preprocessed_tweets]

7. 결과 시각화

수집한 트윗의 감성 점수를 시각화하여 결과를 확인할 수 있습니다. 예를 들어, Matplotlib을 사용하여 감성 점수의 분포를 그래프로 나타낼 수 있습니다:

import matplotlib.pyplot as plt

plt.hist(sentiment_scores, bins=20, color="blue", alpha=0.7)
plt.xlabel("Sentiment Score")
plt.ylabel("Frequency")
plt.title("Distribution of Sentiment Scores")
plt.show()

결론

이제 파이썬을 사용하여 트위터 Sentiment Analysis 시스템을 구축하는 방법을 알아보았습니다. 이 기술을 활용하여 트위터 데이터를 분석하고 사용자들의 감정을 파악할 수 있습니다. 이를 통해 기업들은 제품이나 서비스에 대한 사용자들의 반응을 파악하고 향상시킬 수 있습니다.

목차