[java] 아파치 루신(Apache Lucene)을 이용한 검색어 자동 보정 기능의 구현 방법

28 Nov 2023

java

검색 엔진은 사용자가 입력한 검색어를 처리하고 정확한 검색 결과를 제공하는데 중요한 역할을 합니다. 하지만 사용자가 오타를 입력하거나 검색어에 오류가 포함될 수도 있습니다. 이런 경우, 검색어 자동 보정 기능은 사용자 경험을 개선하고 정확한 검색 결과를 제공하는 데 도움이 됩니다.

아파치 루신은 자바로 작성된 오픈 소스 검색 엔진 라이브러리로, 텍스트 기반의 검색 기능을 강력하게 지원합니다. 루신을 이용하여 검색어 자동 보정 기능을 구현하려면 다음과 같은 방법을 사용할 수 있습니다.

1. 인덱싱 설정

검색어 자동 보정을 위해 검색 엔진은 사전(dictionary)을 사용합니다. 검색 엔진이 자동 보정을 위한 사전을 포함한 색인(index)을 만들기 위해 루신의 인덱싱 기능을 사용해야 합니다. 주요 단어와 해당 단어의 빈도수 정보를 포함한 인덱스를 생성합니다.

Analyzer analyzer = new StandardAnalyzer();
IndexWriterConfig writerConfig = new IndexWriterConfig(analyzer);
Path indexPath = Paths.get("path_to_index_directory");
Directory indexDirectory = FSDirectory.open(indexPath);
IndexWriter indexWriter = new IndexWriter(indexDirectory, writerConfig);

Document doc = new Document();
doc.add(new TextField("field_name", "word frequency", Field.Store.YES));
indexWriter.addDocument(doc);

indexWriter.commit();
indexWriter.close();

2. 검색 쿼리 설정

사용자가 입력한 검색어를 이용하여 루신의 검색 쿼리를 생성합니다. 이때, 사용자가 입력한 검색어에서 오타가 있을 수 있으므로, 검색어 자동 보정 기능을 사용하여 올바른 검색 결과를 얻을 수 있습니다.

Analyzer analyzer = new StandardAnalyzer();
IndexReader indexReader = DirectoryReader.open(indexDirectory);
IndexSearcher indexSearcher = new IndexSearcher(indexReader);

String userQuery = "wrld"; // 사용자가 입력한 검색어

QueryParser parser = new QueryParser("field_name", analyzer);
Query query = parser.parse(userQuery);
Query correctedQuery = query.rewrite(indexReader);

TopDocs topDocs = indexSearcher.search(correctedQuery, 10);
ScoreDoc[] scoreDocs = topDocs.scoreDocs;

// 검색 결과 처리
for (ScoreDoc scoreDoc : scoreDocs) {
    int docId = scoreDoc.doc;
    Document document = indexSearcher.doc(docId);
    // 검색 결과 처리 로직 추가
}

indexReader.close();

위의 코드에서 userQuery 변수에는 사용자가 입력한 검색어가 할당되고, correctedQuery 변수에는 올바른 검색 결과를 얻기 위해 자동 보정된 검색어가 할당됩니다.

3. 검색 결과 처리

검색 결과를 사용자에게 전달하기 전에, 검색어가 자동 보정된 경우에도 올바른 검색 결과를 제공해야 합니다. 이를 위해 검색 결과 처리 로직을 추가합니다.

// 검색 결과 처리
for (ScoreDoc scoreDoc : scoreDocs) {
    int docId = scoreDoc.doc;
    Document document = indexSearcher.doc(docId);
    // 검색 결과 처리 로직 추가
}

위의 코드에서 scoreDocs 변수에는 검색 결과의 점수와 관련된 정보가 포함되고, 이를 기반으로 검색 결과를 처리할 수 있습니다. 예를 들어, 검색 결과를 화면에 출력하거나 다른 처리 작업을 수행할 수 있습니다.

4. 자동 보정된 검색어 제안

검색어 자동 보정 기능을 사용하여 올바른 검색 결과를 제공하는 것 외에도, 사용자에게 자동 보정된 검색어 제안을 제공할 수도 있습니다. 이를 위해 루신의 Spellchecker 기능을 이용할 수 있습니다.

SpellChecker spellChecker = new SpellChecker(indexDirectory);
String[] suggestedWords = spellChecker.suggestSimilar(userQuery, 5); // 자동 보정된 검색어 제안

// 자동 보정된 검색어 제안 처리
for (String suggestedWord : suggestedWords) {
    // 자동 보정된 검색어 제안을 사용자에게 전달하는 로직 추가
}

위의 코드에서 suggestedWords 변수에는 자동 보정된 검색어 제안이 포함되며, 이를 기반으로 사용자에게 올바른 검색어를 제안할 수 있습니다.

위의 방법을 통해 아파치 루신을 이용하여 검색어 자동 보정 기능을 구현할 수 있습니다. 이를 통해 사용자 경험을 향상시키고 정확한 검색 결과를 제공할 수 있습니다.

참고: 아파치 루신 문서