Gensim은 자연어 처리를 위한 파이썬 라이브러리로, 문서 간 관계 분석에 유용하게 활용될 수 있습니다. 이번 블로그에서는 Gensim의 중요한 특징을 추출하는 기법을 알아보겠습니다.
1. 문서 간 유사도 측정
Gensim은 Word2Vec과 Doc2Vec과 같은 알고리즘을 사용하여 문서 간 유사도를 측정할 수 있습니다. 이를 통해 각 문서가 얼마나 비슷한 주제를 다루고 있는지를 확인할 수 있습니다. 중요한 특징을 추출하는 첫 번째 단계는 문서 간 유사도를 측정하는 것입니다. 이를 위해 다음과 같은 방법을 사용할 수 있습니다:
import gensim
from gensim.similarities import SoftCosineSimilarity
# 문서들을 벡터로 변환
documents = ["문서1 내용", "문서2 내용", "문서3 내용"]
vectorizer = gensim.models.doc2vec.Doc2Vec(vector_size=100, min_count=2, epochs=40)
vectors = [vectorizer.infer_vector(document.split()) for document in documents]
# 유사도 측정을 위한 모델 훈련
similarity_model = gensim.similarities.Similarity('./', vectorizer[vectors], len(vectors))
# 문서 간 유사도 계산
query = "검색할 문서 내용"
query_vector = vectorizer.infer_vector(query.split())
sims = similarity_model[query_vector]
위의 코드는 Gensim을 사용하여 문서 간 유사도를 측정하는 예시입니다. 문서들을 벡터로 변환한 후에 유사도 모델을 훈련시켜 쿼리 문서와 다른 문서들 간의 유사도를 계산합니다. 이를 통해 문서 간의 중요한 특징을 추출할 수 있습니다.
2. 토픽 모델링
Gensim은 Latent Dirichlet Allocation(LDA)와 같은 토픽 모델링 알고리즘도 지원합니다. 토픽 모델링은 문서의 주제를 추정하고 관련된 단어들을 찾아내는 기법으로, 중요한 특징을 추출하는 데에 활용될 수 있습니다. 아래는 토픽 모델링의 예시 코드입니다:
import gensim
from gensim.models import LdaModel
from gensim.corpora import Dictionary
# 문서들을 토큰화
documents = ["문서1 내용", "문서2 내용", "문서3 내용"]
tokenized_documents = [doc.split() for doc in documents]
# 단어 사전 생성
dictionary = Dictionary(tokenized_documents)
corpus = [dictionary.doc2bow(tokens) for tokens in tokenized_documents]
# LDA 모델 훈련
model = LdaModel(corpus=corpus, num_topics=3, id2word=dictionary, passes=10)
# 주제와 관련된 단어들 출력
topics = model.print_topics(num_words=5)
for topic in topics:
print(topic)
위의 코드는 Gensim을 사용하여 토픽 모델링을 수행하는 예시입니다. 입력된 문서들을 토큰화한 후에 단어 사전을 생성하고, 이를 바탕으로 LDA 모델을 훈련시킵니다. 훈련된 모델을 통해 주제와 관련된 단어들을 추출할 수 있습니다.
Gensim을 활용하여 문서 간 관계 분석에서 중요한 특징을 추출하는 기법을 알아보았습니다. 문서 간 유사도 측정과 토픽 모델링은 Gensim의 강력한 기능 중 일부에 불과하지만, 이를 통해 다양한 데이터 분석 및 정보 추출 작업에 유용하게 활용할 수 있습니다.