파이썬을 활용한 AWS Lambda 배치 처리 자동화

20 Sep 2023

python

AWS Lambda는 서버리스 컴퓨팅 서비스로, 개발자는 코드 실행에 필요한 인프라를 프로비저닝하거나 관리할 필요 없이 함수를 작성하고 실행할 수 있습니다. 이를 이용하여 배치 처리를 자동화하는 것은 매우 효율적이며, 파이썬을 사용하면 Lambda 함수를 쉽고 간편하게 개발할 수 있습니다.

AWS Lambda 배치 처리 자동화 과정

AWS 계정 생성 및 서비스 활성화
AWS Lambda 함수 생성
배치 처리 로직 작성
배치 작업 예약 설정
Lambda 함수 배치 처리 실행

AWS Lambda 함수 생성

AWS Management Console에 로그인하여 Lambda 서비스로 이동합니다. Lambda 함수를 생성하기 위해 “함수 만들기”를 클릭합니다. 함수 생성 페이지에서는 함수에 대한 기본 설정을 수행해야 합니다.

먼저, 함수 이름과 런타임으로 “Python”을 선택합니다. 함수 코드는 직접 입력하거나, 로컬에서 업로드할 수 있습니다. 이 예제에서는 직접 입력하는 방식을 선택합니다.

import boto3

def lambda_handler(event, context):
    # 배치 처리 로직 작성
    # 예시로 S3 버킷에 있는 파일을 처리한다고 가정
    s3_client = boto3.client('s3')
    response = s3_client.list_objects(Bucket='my-bucket')

    for item in response['Contents']:
        # 파일 처리 로직 작성

    return {
        'statusCode': 200,
        'body': 'Batch processing completed!'
    }

위의 코드는 AWS SDK인 boto3를 사용하여 S3 버킷에 있는 파일을 처리하는 간단한 배치 처리 로직을 나타냅니다.

배치 작업 예약 설정

AWS CloudWatch Events를 사용하여 Lambda 함수를 주기적으로 실행하기 위해, 새로운 규칙을 생성해야 합니다. AWS Management Console에서 CloudWatch 서비스로 이동하고, “이벤트 -> 규칙 -> 규칙 만들기”를 클릭합니다.

시간 기반으로 주기적으로 실행하고 싶다면, “cron 표현식”을 사용하여 실행 주기를 지정할 수 있습니다. 예를 들면 매일 오전 9시에 실행하고 싶다면 “0 9 * * ? *“을 설정합니다.

Lambda 함수 배치 처리 실행

이제 AWS Lambda 함수가 배치 처리를 위해 예약된 작업을 실행하게 됩니다. 예약된 시간에 Lambda 함수가 자동으로 트리거되며, 배치 처리 로직이 실행됩니다. 실행 결과는 CloudWatch Logs 등을 통해 확인할 수 있습니다.

결론

파이썬을 사용하여 AWS Lambda를 이용한 배치 처리 자동화를 구현하는 것은 간단하면서도 효율적인 방법입니다. AWS Lambda의 높은 확장성과 유연성을 활용하면 다양한 배치 작업을 자동화할 수 있습니다. 이를 통해 시간과 비용을 절약하고 안정적인 배치 처리를 구현할 수 있습니다.

#AWS #Lambda #배치처리 #파이썬