파이썬으로 PyLucene을 활용한 검색 결과 시각화하기

18 Oct 2023

pylucene

개요

PyLucene은 자바의 Lucene 라이브러리를 파이썬에서 사용할 수 있도록 하는 패키지입니다. Lucene은 검색 및 정보 추출에 널리 사용되는 강력한 검색 엔진입니다. 이 튜토리얼에서는 PyLucene을 사용하여 검색 결과를 시각화하는 방법에 대해 알아보겠습니다.

필요한 패키지 설치하기

먼저, PyLucene을 설치하기 위해 파이썬 패키지 관리자인 pip를 사용합니다. 아래의 커맨드를 실행하여 PyLucene을 설치합니다.

pip install PyLucene

검색 색인 생성하기

검색을 위해 먼저 Lucene 색인을 생성해야 합니다. Lucene은 많은 양의 데이터를 빠르게 검색하기 위해 특별히 설계된 색인을 사용합니다. 다음은 PyLucene으로 검색 색인을 생성하는 간단한 예제입니다.

from lucene import SimpleFSDirectory, IndexWriterConfig, IndexWriter, Document, Field, FieldType, Analyzer, Version

index_dir = "path_to_index_directory"

analyzer = Analyzer()
config = IndexWriterConfig(Version.LUCENE_CURRENT, analyzer)
directory = SimpleFSDirectory.open(File(index_dir))
writer = IndexWriter(directory, config)

# 색인할 데이터 준비
documents = [
    {"title": "Document 1", "content": "This is the content of document 1."},
    {"title": "Document 2", "content": "This is another document."},
    {"title": "Document 3", "content": "The third document has some different content."}
]

# 데이터를 Lucene 문서로 변환하여 색인에 추가
for doc_data in documents:
    doc = Document()
    doc.add(Field("title", doc_data["title"], FieldType()))
    doc.add(Field("content", doc_data["content"], FieldType()))
    writer.addDocument(doc)

# 색인 작성 완료
writer.commit()
writer.close()

검색하기

검색 결과를 얻기 위해 PyLucene의 검색 기능을 사용할 수 있습니다. 다음은 특정 키워드로 검색하는 예제입니다.

from lucene import SimpleFSDirectory, IndexReader, IndexSearcher, StandardAnalyzer, QueryParser, Version

index_dir = "path_to_index_directory"
query_str = "content:document"

# 색인 디렉토리에서 색인 읽기
directory = SimpleFSDirectory.open(File(index_dir))
reader = IndexReader.open(directory)
searcher = IndexSearcher(reader)

# 쿼리 생성을 위한 파서 설정
analyzer = StandardAnalyzer(Version.LUCENE_CURRENT)
parser = QueryParser(Version.LUCENE_CURRENT, "content", analyzer)

# 검색 쿼리 파싱
query = parser.parse(query_str)

# 검색 수행
hits = searcher.search(query, 10)

# 검색 결과 출력
for hit in hits.scoreDocs:
    doc = searcher.doc(hit.doc)
    print("Title:", doc.get("title"), "Score:", hit.score)

# 검색 관련 리소스 정리
searcher.close()
reader.close()

검색 결과 시각화하기

검색 결과를 시각화하기 위해 matplotlib 패키지를 사용할 수 있습니다. 다음은 검색 결과를 막대 그래프로 시각화하는 예제입니다.

import matplotlib.pyplot as plt

titles = ["Document 1", "Document 2", "Document 3"]
scores = [0.8, 0.6, 0.3]

plt.bar(titles, scores)
plt.xlabel('Document')
plt.ylabel('Score')
plt.title('Search Results')
plt.show()

마무리

이 튜토리얼에서는 PyLucene을 사용하여 검색 결과를 시각화하는 방법을 알아보았습니다. PyLucene을 사용하면 파이썬에서 강력한 검색 엔진을 쉽게 활용할 수 있습니다. 추가적으로 검색 결과를 분석하거나 다른 시각화 방법을 적용하는 등의 작업을 통해 더 다양한 시각화 결과를 얻을 수 있습니다.

해시태그: #PyLucene #검색시각화