Solr은 대용량 데이터를 쉽게 저장, 검색, 처리할 수 있는 오픈 소스 검색 플랫폼입니다. Solr 클러스터를 사용하여 대용량 데이터를 처리할 때, 파이썬은 강력한 도구로 활용될 수 있습니다. 이번 글에서는 Solr 클러스터 환경에서 파이썬을 사용하여 효율적으로 대용량 데이터를 처리하는 방법을 알아보겠습니다.

1. Solr 클러스터와 파이썬 연동

Solr 클러스터와 파이썬을 연동하기 위해서는 pysolr 라이브러리를 사용할 수 있습니다. 이 라이브러리는 Solr의 REST API를 통해 데이터를 추가, 수정, 삭제, 검색할 수 있는 기능을 제공합니다.

먼저, pysolr 라이브러리를 설치해야 합니다. 다음 명령어를 사용하여 설치할 수 있습니다.

pip install pysolr

설치가 완료되었다면, 다음과 같이 Solr 클러스터와 연결을 설정할 수 있습니다.

import pysolr

solr = pysolr.Solr('http://solr-cluster-url:8983/solr/')

2. 대용량 데이터 추가

Solr 클러스터에 대량의 데이터를 추가하는 기능은 여러 가지 방식으로 제공됩니다. 여기서는 CSV 파일을 사용하여 데이터를 추가하는 방법을 예시로 알아보겠습니다.

import csv

data = []

# CSV 파일 로드
with open('data.csv', 'r') as file:
    csv_reader = csv.reader(file)
    headers = next(csv_reader)  # 헤더 정보를 가져옴

    for row in csv_reader:
        # 데이터를 Solr에 추가하기 위한 형식으로 변환
        doc = {
            'id': row[0],
            'title': row[1],
            'content': row[2]
        }
        data.append(doc)

# Solr에 데이터 추가
solr.add(data)

3. 대용량 데이터 검색

Solr 클러스터에서 대량의 데이터를 검색하기 위해서는 적절한 쿼리를 생성해야 합니다. pysolr 라이브러리를 사용하여 다양한 검색 조건을 설정할 수 있습니다.

# 쿼리 생성
query = 'title:apple AND content:juice'

# Solr에서 데이터 검색
results = solr.search(query)

# 검색 결과 출력
for result in results:
    print(result['title'])

4. 대용량 데이터 삭제

Solr 클러스터에서 대량의 데이터를 삭제하기 위해서는 적절한 조건을 설정하여 삭제해야 합니다. pysolr 라이브러리를 사용하여 조건에 맞는 데이터를 삭제할 수 있습니다.

# 삭제 조건 설정
delete_query = 'title:apple'

# Solr에서 데이터 삭제
solr.delete(q=delete_query)

5. 요약

Solr 클러스터 환경에서 파이썬을 활용하여 대용량 데이터를 효율적으로 처리할 수 있습니다. pysolr 라이브러리를 사용하여 데이터 추가, 검색, 삭제 등의 작업을 수행할 수 있으며, CSV 파일을 사용하여 대량의 데이터를 일괄적으로 처리할 수도 있습니다.

#solr #python