[파이썬] Gensim을 사용한 추천 시스템
추천 시스템은 사용자에게 관심 있는 상품, 서비스 또는 콘텐츠를 제공하는데 도움을 줍니다. 이러한 시스템은 예측 모델을 사용하여 사용자의 선호도를 분석하고, 유사한 항목을 추천하는 알고리즘을 구현합니다. Gensim은 텍스트 분석을 위한 패키지로서, 추천 시스템의 구현에 매우 유용합니다.
Gensim 소개
Gensim은 Python에서 사용할 수 있는 토픽 모델링 및 자연어 처리를 위한 오픈 소스 라이브러리입니다. Gensim은 큰 텍스트 데이터셋에 대해 스트리밍 및 메모리 효율적인 방식으로 작동하므로, 대규모 문서를 다루는 추천 시스템의 구현에 적합합니다.
Gensim은 Word2Vec, Doc2Vec 등의 임베딩 기법을 지원하며, 이러한 기법을 사용하여 문서를 고차원 벡터로 표현할 수 있습니다. 이러한 벡터 표현을 사용하여 문서 간의 유사도를 측정하고, 이를 기반으로 추천을 수행할 수 있습니다.
추천 시스템 구현 예제
다음은 Gensim을 사용하여 간단한 추천 시스템을 구현하는 예제 코드입니다. 이 예제는 영화 추천 시스템을 만들기 위해 MovieLens 데이터셋을 사용합니다.
# 필요한 패키지 임포트
from gensim.models import Word2Vec
from sklearn.metrics.pairwise import cosine_similarity
# 영화 데이터 로드
movies = load_movies()
# 영화 리뷰로 Word2Vec 모델 학습
sentences = [movie['reviews'] for movie in movies]
model = Word2Vec(sentences, min_count=1)
# 각 영화마다 리뷰 벡터 생성
movie_vectors = {}
for movie in movies:
vectors = []
for review in movie['reviews']:
vectors.append(model.wv[review])
movie_vectors[movie['id']] = vectors
# 각 영화의 유사도 계산
similar_movies = {}
for movie_id, vectors in movie_vectors.items():
similarity_scores = {}
for other_id, other_vectors in movie_vectors.items():
similarity = cosine_similarity(vectors, other_vectors).mean()
similarity_scores[other_id] = similarity
similar_movies[movie_id] = similarity_scores
# 영화 추천 결과 출력
for movie_id, similarities in similar_movies.items():
recommended_movies = sorted(similarities.items(), key=lambda x: x[1], reverse=True)[:5]
print("Movie:", movies[movie_id]['title'])
print("Recommended movies:", [movies[movie[0]]['title'] for movie in recommended_movies])
print()
위 코드는 다음과 같은 과정으로 추천 시스템을 구현합니다:
- 영화 데이터를 로드합니다.
- 리뷰 문장들을 사용하여 Word2Vec 모델을 학습합니다.
- 각 영화마다 리뷰 벡터를 생성합니다.
- 각 영화 간의 유사도를 계산합니다.
- 유사도가 높은 영화를 추천합니다.
위 예제는 간단한 추천 시스템의 구현을 보여줍니다. 추천 시스템의 성능을 향상시키기 위해서는 더 정교한 알고리즘 및 데이터 전처리 기술을 적용해볼 수 있습니다.
Gensim을 사용하여 추천 시스템을 구현하는 것은 매우 흥미로운 과정입니다. Gensim의 다양한 기능을 활용하여 더 나은 추천 시스템을 구축해보세요!