파이썬 Kibana 시각화를 활용한 시계열 데이터 분석

13 Nov 2023

kibana

시계열 데이터는 시간 순서대로 발생한 데이터로, 데이터 분석과 예측에 많이 사용됩니다. 파이썬과 Kibana를 결합하여 시계열 데이터를 시각화하고 분석하는 방법을 알아보겠습니다.

1. Kibana 설치 및 데이터 색인

먼저, Kibana를 설치하고 데이터를 색인해야 합니다. Elasticsearch를 통해 데이터를 색인한 후, Kibana를 사용하여 시계열 데이터를 시각화할 수 있습니다.

# Elasticsearch에 데이터 색인하기
from elasticsearch import Elasticsearch

es = Elasticsearch(hosts=["localhost"])  # Elasticsearch 호스트 주소

data = [
    {"timestamp": "2021-01-01", "value": 100},
    {"timestamp": "2021-01-02", "value": 150},
    {"timestamp": "2021-01-03", "value": 200},
    # ...
]

for item in data:
    es.index(index="timeseries", body=item)  # timeseries 인덱스에 데이터 색인

2. 파이썬으로 Kibana와 연동하여 데이터 시각화하기

다음으로, 파이썬에서 Kibana와 연동하여 시계열 데이터를 시각화해보겠습니다. elasticsearch와 matplotlib 패키지를 사용하여 시계열 데이터를 Elasticsearch에서 가져와 시각화할 수 있습니다.

# Kibana와 연동하여 시계열 데이터 시각화하기
from elasticsearch import Elasticsearch
import matplotlib.pyplot as plt

es = Elasticsearch(hosts=["localhost"])  # Elasticsearch 호스트 주소

# Elasticsearch에서 데이터 가져오기
response = es.search(index="timeseries", body={"query": {"match_all": {}}})
data = [hit["_source"] for hit in response["hits"]["hits"]]

# 시각화
timestamps = [item["timestamp"] for item in data]
values = [item["value"] for item in data]

plt.plot(timestamps, values)
plt.xlabel("Timestamp")
plt.ylabel("Value")
plt.title("Time Series Data")
plt.show()

3. Kibana에서 시계열 데이터 분석하기

Kibana는 데이터를 시각화하는 도구뿐만 아니라 데이터 분석에도 활용할 수 있습니다. Kibana의 강력한 집계 기능과 쿼리 기능을 사용하여 시계열 데이터를 분석할 수 있습니다.

예를 들어, 특정 기간 동안의 평균값, 최소값, 최대값 등을 구하거나, 특정 조건에 맞는 데이터를 필터링하여 분석할 수 있습니다.

마무리

위의 방법을 통해 파이썬과 Kibana를 결합하여 시계열 데이터를 시각화하고 분석하는 방법을 알아보았습니다. 시계열 데이터의 패턴과 트렌드를 파악하여 더 나은 의사결정을 내릴 수 있습니다. #파이썬 #Kibana