테스트 데이터셋을 사용한 파이썬 Sentiment analysis 모델 성능 분석

04 Oct 2023

python

서론

Sentiment Analysis(감성 분석)은 자연어 처리(Natural Language Processing, NLP) 분야에서 많이 사용되는 기술 중 하나입니다. 이 기술을 사용하면 텍스트 데이터의 감성을 분석하여 긍정적인지, 부정적인지, 중립인지 등을 판단할 수 있습니다. 파이썬에는 다양한 Sentiment Analysis 모델이 있으며, 이러한 모델의 성능을 평가하기 위해서는 테스트 데이터셋을 사용해야 합니다.

데이터셋 소개

이번 분석에서는 영화 리뷰 데이터셋을 사용합니다. 이 데이터셋에는 영화 리뷰 텍스트와 해당 리뷰의 긍정/부정 레이블이 포함되어 있습니다. 예를 들어, “이 영화 정말 좋아요!”라는 리뷰는 긍정(Positive)으로 레이블링 되어 있습니다.

성능 평가 지표

Sentiment Analysis 모델의 성능 평가를 위해 주로 사용되는 지표는 다음과 같습니다:

정확도(Accuracy): 전체 예측 중 올바르게 예측한 비율
정밀도(Precision): 긍정으로 예측한 것 중 실제로 긍정인 비율
재현율(Recall): 실제로 긍정인 것 중에 긍정으로 예측한 비율
F1 점수(F1-score): 정밀도와 재현율의 조화 평균

성능 분석 방법

먼저, 테스트 데이터셋을 로드합니다.
Sentiment Analysis 모델을 생성하고 테스트 데이터셋에 대해 예측을 수행합니다.
예측 결과와 실제 레이블을 비교하여 평가 지표를 계산합니다.
얻은 평가 지표를 통해 모델의 성능을 분석하고 개선 방안을 도출합니다.

예시 코드

# 1. 테스트 데이터셋 로드
import pandas as pd

test_data = pd.read_csv('test_data.csv')

# 2. Sentiment Analysis 모델 생성 및 예측 수행
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score

# 텍스트 데이터를 TF-IDF 벡터로 변환
vectorizer = TfidfVectorizer()
X_test = vectorizer.fit_transform(test_data['text'])

# 모델 생성
model = LogisticRegression()
model.fit(X_train, train_data['label'])

# 예측 수행
predictions = model.predict(X_test)

# 3. 평가 지표 계산
accuracy = accuracy_score(test_data['label'], predictions)
precision = precision_score(test_data['label'], predictions)
recall = recall_score(test_data['label'], predictions)
f1 = f1_score(test_data['label'], predictions)

# 4. 성능 분석 및 개선 방안 도출
print(f"Accuracy: {accuracy}")
print(f"Precision: {precision}")
print(f"Recall: {recall}")
print(f"F1-score: {f1}")

위의 예시 코드에서는 TfidfVectorizer를 사용하여 텍스트 데이터를 TF-IDF 벡터로 변환하고, LogisticRegression 모델을 사용하여 Sentiment Analysis를 수행합니다. 예측 결과와 실제 레이블을 비교하여 정확도, 정밀도, 재현율, F1 점수를 계산하고 출력합니다.

결론

테스트 데이터셋을 사용하여 파이썬 Sentiment Analysis 모델의 성능을 분석하는 방법에 대해 알아보았습니다. 이를 통해 모델의 성능을 평가하고 개선 방안을 도출할 수 있습니다. Sentiment Analysis는 다양한 분야에서 활용되는 중요한 기술이므로, 모델의 성능을 고려하여 효과적인 결과를 도출할 수 있도록 개선해야 합니다.

#NLP #Sentiment Analysis