Gensim을 활용한 문서 분류 모델 성능 향상 기법 알아보기

09 Nov 2023

gensim

Gensim은 파이썬에서 자연어 처리를 위한 오픈 소스 라이브러리입니다. Gensim을 사용하면 토픽 모델링, 문서 유사도 계산, 한 문서 내 단어의 벡터화 등 다양한 자연어 처리 작업을 수행할 수 있습니다. 이번 글에서는 Gensim을 활용하여 문서 분류 모델의 성능을 향상시키는 몇 가지 기법을 살펴보겠습니다.

1. 문서 전처리

문서 분류 모델의 성능을 향상시키기 위해 먼저 문서 전처리 과정을 신중하게 진행해야 합니다. 일반적으로 다음과 같은 전처리 과정을 수행합니다.

토큰화(Tokenization): 문서를 단어로 분리합니다.
불용어 제거(Stop word removal): 불용어인 일반적이고 의미 없는 단어를 제거합니다.
어근 추출(Stemming or Lemmatization): 단어의 어근을 추출하여 정규화합니다.

Gensim에서는 simple_preprocess 함수를 사용하여 간단한 전처리 과정을 수행할 수 있습니다. 이를 통해 문서를 토큰화하고 불용어를 제거하는 작업을 처리할 수 있습니다.

from gensim.utils import simple_preprocess

def preprocess(document):
    # 토큰화
    tokens = simple_preprocess(document, min_len=2, max_len=20)
    
    # 불용어 제거
    stopwords = ['and', 'the', 'is', ...]  # 불용어 리스트
    tokens = [token for token in tokens if token not in stopwords]
    
    # 어근 추출
    # ...

    return tokens

2. Word2Vec을 활용한 단어 임베딩

문서 분류 모델은 단어 간의 의미적 유사도를 고려해야 합니다. Gensim의 Word2Vec 모델을 활용하면 단어를 고차원 벡터로 임베딩할 수 있으며, 이를 활용하여 단어 간 유사도를 계산할 수 있습니다.

from gensim.models import Word2Vec

# 문서 전처리 후 토큰화된 리스트가 있는 경우
sentences = [...]  # 토큰화된 문서들의 리스트

# Word2Vec 모델 학습
model = Word2Vec(sentences, size=100, window=5, min_count=1, workers=4)

# 단어 벡터 확인
word_vector = model.wv['apple']

3. TF-IDF를 활용한 단어 가중치 계산

문서 분류 모델에서는 단어의 중요도를 반영하는 것이 중요합니다. Gensim의 TfidfModel을 활용하면 단어의 TF-IDF 가중치를 계산할 수 있습니다.

from gensim.models import TfidfModel
from gensim.corpora import Dictionary

# 문서 전처리 후 토큰화된 리스트가 있는 경우
documents = [...]  # 토큰화된 문서들의 리스트

# 단어에서 id로의 매핑 구축
dictionary = Dictionary(documents)

# 단어 갯수 세기 및 문서별 단어 빈도수 계산
corpus = [dictionary.doc2bow(document) for document in documents]

# TF-IDF 모델 학습
tfidf_model = TfidfModel(corpus)

# 단어의 TF-IDF 가중치를 계산하여 확인
tfidf_vector = tfidf_model[dictionary.doc2bow(['apple', 'banana'])]

마무리

위에서 소개한 기법들은 Gensim을 활용하여 문서 분류 모델의 성능을 향상시키는 방법들 중 일부입니다. 문서 전처리 과정을 통해 문서의 품질을 올리고, Word2Vec을 활용하여 단어 간 의미적 유사도를 계산하며, TF-IDF를 사용하여 단어의 중요도를 반영할 수 있습니다. 이러한 기법들을 조합하여 더 정확하고 효과적인 문서 분류 모델을 구축할 수 있습니다.

참고 자료:

Gensim Documentation: https://radimrehurek.com/gensim/

Word2Vec Tutorial: https://radimrehurek.com/gensim/auto_examples/tutorials/run_word2vec.html

TF-IDF Tutorial: https://radimrehurek.com/gensim/auto_examples/tutorials/run_tf_idf.html

#자연어처리 #Gensim