Kibana에서 파이썬 데이터를 활용한 클러스터링 시각화 방법

13 Nov 2023

kibana

이번 글에서는 Kibana와 파이썬을 사용하여 데이터 클러스터링을 시각화하는 방법에 대해 알아보겠습니다. 데이터 클러스터링은 비슷한 특징이 있는 데이터를 그룹화하는 방법으로, 데이터 분석과 시각화에 매우 유용합니다.

우리는 Elasticsearch와 Kibana를 사용하여 데이터를 저장, 분석 및 시각화할 것입니다. Elasticsearch는 대량의 데이터를 신속하게 저장하고 검색할 수 있는 오픈소스 분산 검색 엔진입니다. Kibana는 Elasticsearch 데이터를 시각화하기 위한 강력한 도구입니다.

아래는 파이썬을 사용하여 데이터를 클러스터링하고 Elasticsearch에 저장하는 예제 코드입니다:

import pandas as pd
from sklearn.cluster import KMeans
from elasticsearch import Elasticsearch

# 데이터를 로드합니다.
data = pd.read_csv('data.csv')

# 데이터 클러스터링을 위해 필요한 특징을 선택합니다.
features = data[['feature1', 'feature2', 'feature3']]

# K-Means 알고리즘을 사용하여 데이터를 클러스터링합니다.
kmeans = KMeans(n_clusters=3)
kmeans.fit(features)

# 클러스터링 결과를 확인합니다.
cluster_labels = kmeans.labels_
data['cluster'] = cluster_labels

# Elasticsearch와 연결합니다.
es = Elasticsearch('localhost:9200')

# 클러스터링 결과를 Elasticsearch에 저장합니다.
for index, row in data.iterrows():
    doc = {
        'feature1': row['feature1'],
        'feature2': row['feature2'],
        'feature3': row['feature3'],
        'cluster': row['cluster']
    }
    es.index(index='cluster_data', doc_type='data', body=doc)

이제 Elasticsearch에 데이터가 저장되었으므로 Kibana를 통해 시각화를 수행할 수 있습니다.

브라우저에서 Kibana를 엽니다.
“Management”를 클릭하여 “Index Patterns” 페이지로 이동합니다.
“Index Patterns”에서 Elasticsearch 인덱스 패턴을 설정합니다.
“Discover”를 클릭하여 데이터를 검색하거나, “Visualize”를 클릭하여 시각화를 생성합니다.
클러스터링 결과를 시각화하여 결과를 확인합니다.

위의 예제 코드와 Kibana를 사용하여 파이썬 데이터를 클러스터링하고 시각화하는 방법을 알아보았습니다. 이를 통해 데이터 분석 및 시각화를 수행하는 데 사용할 수 있는 강력한 도구인 Kibana를 활용할 수 있습니다.

#빅데이터 #데이터시각화