import gensim
from gensim.models import TfidfModel
from gensim.corpora import Dictionary

# 텍스트 데이터 전처리 예시
documents = ["텍스트 데이터 전처리 예시입니다.",
             "텍스트 데이터를 효율적으로 처리하기 위해 전처리가 필요합니다.",
             "Gensim을 사용하면 텍스트 기반 추천 시스템을 구현할 수 있습니다."]

# 텍스트 데이터 토큰화
tokenized_documents = [doc.split() for doc in documents]

# Dictionary 생성
dictionary = Dictionary(tokenized_documents)

# 불용어 제거
stopwords = ['텍스트', '데이터', '전처리']
dictionary.filter_tokens([dictionary.token2id[stopword] for stopword in stopwords])

# 어간 추출
stemmer = gensim.parsing.PorterStemmer()
preprocessed_documents = [[stemmer.stem(token) for token in doc_tokens] for doc_tokens in tokenized_documents]

# TF-IDF 행렬 생성
corpus = [dictionary.doc2bow(doc) for doc in preprocessed_documents]
tfidf = TfidfModel(corpus)
tfidf_matrix = tfidf[corpus]

from gensim.similarities import MatrixSimilarity

# TF-IDF 행렬에 대한 코사인 유사도 계산
index = MatrixSimilarity(tfidf_matrix)

# 코사인 유사도 계산 예시
test_document = "텍스트 데이터 처리를 위해 Gensim을 사용하는 방법은 무엇인가요?"
test_tokenized_document = test_document.split()
test_preprocessed_document = [stemmer.stem(token) for token in test_tokenized_document]
test_bow = dictionary.doc2bow(test_preprocessed_document)
test_tfidf = tfidf[test_bow]

# 유사한 문서 검색
similarity_scores = index[test_tfidf]

# 가장 유사한 문서 순위 출력
sorted_docs = sorted(enumerate(similarity_scores), key=lambda item: -item[1])
for doc_index, score in sorted_docs:
    print(f"문서 #{doc_index + 1}, 유사도: {score}")