Convolutional Neural Network를 사용한 파이썬 Sentiment analysis 알고리즘 성능 평가

04 Oct 2023

python

Sentiment analysis는 자연어 처리의 중요한 주제 중 하나로, 주어진 텍스트에 대한 긍정적, 부정적, 중립적인 감성을 분류하는 것을 의미합니다. Convolutional Neural Network(CNN)은 딥러닝의 한 종류로, 이미지, 텍스트 등 다양한 유형의 데이터에서 강력한 성능을 보이는 분류 알고리즘입니다.

이번 포스트에서는 CNN을 사용한 Sentiment analysis 알고리즘을 파이썬으로 구현하고, 그 성능을 평가하는 방법에 대해 알아보겠습니다.

데이터셋 준비

Sentiment analysis 알고리즘을 학습하고 평가하기 위해 먼저 적절한 데이터셋이 필요합니다. 일반적으로 영화 리뷰, 소셜 미디어 데이터 등을 활용하는데, 이번 예제에서는 영화 리뷰 데이터셋을 사용하겠습니다.

영화 리뷰 데이터셋은 각각의 리뷰에 대해 긍정적인 감성인지 부정적인 감성인지를 레이블로 가지고 있는 형태로 구성되어야 합니다. 데이터셋을 구성할 때는 학습용 데이터와 평가용 데이터를 분리하여 사용하는 것이 일반적입니다.

CNN 모델 구현

다음은 파이썬의 Keras 라이브러리를 사용하여 CNN 모델을 구현하는 간단한 예제입니다.

import numpy as np
from keras.models import Sequential
from keras.layers import Embedding, Conv1D, MaxPooling1D, Flatten, Dense

# 입력 데이터의 형태 지정
max_sequence_length = 100 # 문장 최대 길이
embedding_dim = 50 # 단어 임베딩 차원 수
vocab_size = 10000 # 단어 집합 크기

# 모델 구성
model = Sequential()
model.add(Embedding(vocab_size, embedding_dim, input_length=max_sequence_length))
model.add(Conv1D(128, 5, activation='relu'))
model.add(MaxPooling1D(5))
model.add(Flatten())
model.add(Dense(1, activation='sigmoid'))

# 모델 컴파일
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

# 모델 학습
model.fit(x_train, y_train, epochs=10, batch_size=32, validation_data=(x_val, y_val))

위의 예제에서는 Embedding 레이어를 사용하여 단어를 고정된 차원의 벡터로 임베딩하고, Conv1D 레이어와 MaxPooling1D 레이어를 사용하여 특징을 추출하고 압축합니다. 마지막으로 Flatten 레이어와 Dense 레이어를 사용하여 분류를 수행합니다.

성능 평가

CNN 모델을 학습한 후, 이를 평가하기 위해 평가용 데이터를 사용해야 합니다. 이때, 모델의 정확도 이외에도 다양한 평가 지표를 사용할 수 있습니다. 일반적으로 precision, recall, F1-score, ROC curve 등이 사용됩니다.

파이썬의 scikit-learn 라이브러리를 사용하여 평가 지표를 계산하는 예제 코드는 다음과 같습니다.

from sklearn.metrics import classification_report

# 평가용 데이터에 대한 예측값 계산
y_pred = model.predict(x_test)
y_pred = np.round(y_pred)

# 평가 지표 계산
report = classification_report(y_test, y_pred)
print(report)

위의 코드에서는 classification_report 함수를 사용하여 정확도, precision, recall, F1-score 등을 계산하고 출력합니다.

이렇게 계산한 평가 지표를 확인하여 모델의 성능을 평가할 수 있습니다.

결론

이번 포스트에서는 CNN을 사용하여 파이썬 Sentiment analysis 알고리즘을 구현하고, 그 성능을 평가하는 방법에 대해 알아보았습니다. CNN은 텍스트 데이터에서 효과적으로 특징을 추출하는 데 사용되는 강력한 알고리즘입니다. 데이터셋과 모델 구성, 성능 평가 등을 고려하여 Sentiment analysis 알고리즘을 개발하고 성능을 향상시킬 수 있습니다.