파이썬으로 개발하는 서버리스 실시간 로깅 시스템

20 Sep 2023

python

서버리스 아키텍처는 최근 클라우드 기반 애플리케이션 개발에서 많이 사용되는 방식입니다. 이러한 아키텍처에서는 서버를 프로비저닝하거나 관리할 필요가 없으며, 이벤트 기반으로 동작하는 함수를 사용하여 애플리케이션을 실행합니다. 이번 블로그 글에서는 파이썬을 사용하여 서버리스 환경에서 실시간 로깅 시스템을 개발하는 방법에 대해 알아보겠습니다.

1. AWS Lambda를 사용하여 함수 개발하기

AWS Lambda는 서버리스 함수를 실행하기 위한 플랫폼으로 널리 사용되는 서비스입니다. 먼저, 파이썬으로 AWS Lambda 함수를 개발해야 합니다. 아래는 예시 코드입니다.

import logging

def lambda_handler(event, context):
    logger = logging.getLogger()
    logger.setLevel(logging.INFO)
    
    # 로깅할 코드 작성하기
    
    logger.info("This is an info log message.")
    logger.warn("This is a warning log message.")
    logger.error("This is an error log message.")
    
    # 다음 이벤트로 전달하기
    return event

위 코드에서는 logging 모듈을 사용하여 로깅 작업을 수행합니다. 로그 메시지의 중요도에 따라 info, warn, error 메서드를 사용하여 로그를 작성하고, 이벤트를 다음 함수로 전달합니다.

2. 로그를 수집하고 저장하기

실시간 로깅 시스템은 로그 메시지를 수집하고 저장하는 기능을 포함해야 합니다. AWS에서는 이러한 작업을 위해 Amazon CloudWatch Logs를 사용할 수 있습니다. CloudWatch Logs는 간단한 설정으로 데이터를 저장하고, 필터링하며, 조회할 수 있는 유연한 로그 관리 서비스입니다.

AWS Lambda에서 CloudWatch Logs를 사용하기 위해 아래와 같이 설정해야 합니다.

import boto3

def lambda_handler(event, context):
    logs_client = boto3.client('logs')
    log_group_name = '/aws/lambda/my-lambda-function'
    
    logger = logging.getLogger()
    logger.setLevel(logging.INFO)
    
    # 로깅할 코드 작성하기
    
    logger.info("This is an info log message.")
    logger.warn("This is a warning log message.")
    logger.error("This is an error log message.")
    
    # 로그를 CloudWatch Logs에 전송하기
    logs_client.create_log_stream(
        logGroupName=log_group_name,
        logStreamName=context.aws_request_id
    )
    
    return event

위 코드에서는 boto3를 사용하여 CloudWatch Logs 클라이언트를 만들고, 로그 그룹 이름을 설정합니다. 그리고 로그를 작성하는 코드 뒤에 create_log_stream 메서드를 호출하여 로그를 CloudWatch Logs에 전송합니다.

3. 로그 조회 및 분석하기

CloudWatch Logs는 저장된 로그를 조회하고 필터링하여 분석할 수 있는 다양한 기능을 제공합니다. 예를 들어, 로그 스트림을 선택하고 시간 범위를 지정하여 로그를 조회할 수 있습니다. 또한, 특정 메시지나 패턴을 필터링하여 원하는 정보만을 확인할 수도 있습니다.

AWS 콘솔에서 CloudWatch Logs로 이동하여 로그를 조회하고 분석하는 작업을 수행할 수 있습니다. 또는 boto3를 사용하여 프로그래밍적으로 로그를 조회하고 분석할 수도 있습니다.

마무리

파이썬을 사용하여 서버리스 환경에서 실시간 로깅 시스템을 개발하는 방법에 대해 알아보았습니다. AWS Lambda와 CloudWatch Logs를 조합하여 간단하고 효율적인 로깅 시스템을 구성할 수 있습니다. 이를 통해 애플리케이션에서 발생하는 로그를 실시간으로 모니터링하고, 필요한 경우에는 로그를 조회하고 분석할 수 있습니다.

#AWS #서버리스