파이썬을 사용한 서버리스 로그 분석 및 시각화

20 Sep 2023

python

서버리스 아키텍처와 로그 분석

서버리스 아키텍처는 기존의 서버 기반 애플리케이션 개발 방식과는 다른 개발 패러다임입니다. 서버리스 애플리케이션은 서버에 대한 직접적인 관리 없이 클라우드 기반의 서비스를 이용하여 애플리케이션을 구축하고 실행할 수 있는 방식을 말합니다.

로깅은 서버리스 애플리케이션의 중요한 부분입니다. 로그는 애플리케이션의 동작 상태와 이벤트들을 기록하는데 사용됩니다. 이러한 로그를 분석하고 시각화하여 애플리케이션의 성능, 이슈 및 트랜잭션 추적 등을 파악할 수 있습니다.

파이썬을 사용한 로그 분석 자동화

파이썬은 풍부한 로그 분석 및 시각화 도구들을 제공하고 있습니다. 서버리스 애플리케이션이 로그를 생성할 때마다, Lambda 함수 등 서버리스 환경에서 작동하는 파이썬 코드를 사용하여 해당 로그를 분석하고 가시화할 수 있습니다.

아래는 예시 코드입니다. 이 예시에서는 AWS Lambda와 Amazon CloudWatch Logs를 사용하여 서버리스 로그를 수집하고 분석하는 방법을 보여줍니다.

import boto3
import json
import pandas as pd
import matplotlib.pyplot as plt

# AWS Lambda 함수
def analyze_logs(event, context):
    # AWS CloudWatch Logs 클라이언트 생성
    client = boto3.client('logs')

    # 필터링할 로그 그룹과 필터링할 로그 스트림 지정
    log_group_name = '/aws/lambda/my-lambda-function'
    log_stream_name = '2021/11/01/[LATEST]abcd1234'

    # 로그 검색
    response = client.get_log_events(
        logGroupName=log_group_name,
        logStreamName=log_stream_name,
        startFromHead=True,
        limit=100
    )

    # 로그 데이터 가공
    logs = []
    for event in response['events']:
        logs.append(json.loads(event['message']))

    # 데이터프레임 생성
    df = pd.DataFrame(logs)

    # 시각화 - 막대 그래프
    df['timestamp'] = pd.to_datetime(df['timestamp'])
    df['timestamp'] = df['timestamp'].dt.tz_convert('Asia/Seoul')
    hourly_count = df.groupby(df['timestamp'].dt.hour).size()
    hourly_count.plot(kind='bar')
    plt.title('Hourly Log Count')
    plt.xlabel('Hour')
    plt.ylabel('Count')

    # 그래프 저장
    plt.savefig('/tmp/log_count.png')

    # S3로 그래프 업로드
    s3 = boto3.client('s3')
    s3.upload_file('/tmp/log_count.png', '<bucket-name>', 'log_count.png')

결론

파이썬을 사용하여 서버리스 환경에서 로그 분석과 시각화를 자동화할 수 있습니다. 이를 통해 애플리케이션의 성능 및 이슈를 신속하게 파악하고 개선할 수 있습니다. 파이썬의 다양한 라이브러리와 클라우드 서비스를 활용하여 로그 데이터를 쉽고 효율적으로 분석할 수 있습니다. #파이썬 #서버리스 #로그분석 #시각화