[python] gensim의 주요 기능 및 사용법
Gensim은 Python을 위한 토픽 모델링 및 자연어 처리를 위한 라이브러리로, 다양한 텍스트 분석 작업에 활용됩니다. 이 라이브러리는 다음과 같은 주요 기능을 제공합니다:
주요 기능
- 토픽 모델링: Gensim은 Latent Dirichlet Allocation (LDA) 및 Latent Semantic Analysis (LSA)와 같은 토픽 모델링 알고리즘을 지원하여 텍스트 데이터의 토픽을 추출할 수 있습니다.
- 자연어 처리: 문서 유사도 측정, 토큰화, 형태소 분석 등 다양한 자연어 처리 기능을 제공합니다.
- Word Embedding: Gensim은 Word2Vec 및 Doc2Vec과 같은 효율적인 단어 및 문서 임베딩 알고리즘을 제공하여 단어 간의 의미적 유사성을 파악할 수 있습니다.
Gensim 사용법 예시
토픽 모델링
from gensim import corpora, models
# 문서를 토큰화하여 사전(dictionary)을 생성
documents = ["텍스트 데이터를 처리하는 예시입니다.", "Gensim을 사용한 토픽 모델링"]
texts = [[token for token in document.split()] for document in documents]
dictionary = corpora.Dictionary(texts)
# 문서-단어 매트릭스 생성 후 LDA 모델 적합
corpus = [dictionary.doc2bow(text) for text in texts]
lda_model = models.LdaModel(corpus, id2word=dictionary, num_topics=2)
Word Embedding
from gensim.models import Word2Vec
# 단어 벡터 모델 학습
sentences = [["deep", "learning"], ["natural", "language", "processing"]]
word2vec_model = Word2Vec(sentences, min_count=1)
이처럼 Gensim은 강력한 기능을 제공하며, 다양한 자연어 처리 작업에 사용될 수 있습니다.
더 많은 정보를 원하시면 Gensim 공식 문서를 참고하세요.