[파이썬] AWS Lambda와 DynamoDB를 활용한 실시간 데이터 처리

05 Sep 2023

python

소개

AWS Lambda와 DynamoDB는 클라우드 기반의 서비스로, 실시간 데이터 처리를 위해 많이 사용되는 플랫폼입니다. 이 블로그 포스트에서는 AWS Lambda와 DynamoDB를 활용하여 실시간 데이터를 처리하는 방법에 대해 알아보겠습니다. Python 프로그래밍 언어를 사용하여 구현할 것입니다.

AWS Lambda란?

AWS Lambda는 서버리스 컴퓨팅 서비스로, 코드를 실행하고 스케일링 및 관리를 자동으로 처리해줍니다. 우리는 이를 사용하여 데이터 처리 작업을 자동화하고, 비용이 발생하는 서버 인스턴스 없이 작업을 수행할 수 있습니다.

DynamoDB란?

DynamoDB는 완전 관리형 NoSQL 데이터베이스로, 대규모 실시간 애플리케이션을 위한 스토리지 솔루션입니다. DynamoDB는 신뢰성과 성능, 유연성을 제공하며, 실시간 데이터 처리에 탁월한 성능을 보여줍니다.

예제: 실시간 데이터 처리를 위한 AWS Lambda와 DynamoDB 구현하기

1. AWS Lambda 함수 생성하기

먼저, AWS Management Console에 로그인하여 Lambda 서비스로 이동합니다. 다음 단계를 따라서 AWS Lambda 함수를 생성합니다.

“함수 생성” 버튼을 클릭합니다.
“함수 이름”에 적절한 이름을 입력합니다. 예를 들어, “data_processing_lambda”을 입력합니다.
“런타임” 옵션에서 “Python 3.x”를 선택합니다.
“역할” 옵션에서 적절한 IAM 역할을 선택합니다.
“함수 생성” 버튼을 클릭하여 함수를 생성합니다.

2. Lambda 함수 코드 작성하기

이제 Lambda 함수의 코드를 작성합니다. AWS Management Console에서 생성한 함수에 들어가서 코드 편집기를 열고, 다음 코드를 입력합니다.

import boto3

def lambda_handler(event, context):
    # 데이터 처리 로직 작성하기
    # 예시로는 입력된 이벤트를 DynamoDB 테이블에 저장하는 코드를 작성합니다.
    
    table_name = "data_table"
    dynamodb_client = boto3.client('dynamodb')
    
    for record in event['Records']:
        data = record['data']
        # DynamoDB에 데이터 저장하기
        dynamodb_client.put_item(
            TableName=table_name,
            Item={
                'data': {'S': data}
            }
        )

위의 코드는 간단한 예시로, 이벤트에 포함된 데이터를 DynamoDB의 “data_table” 테이블에 저장하는 코드입니다. 실제로는 데이터 처리에 필요한 로직을 구현해야 합니다.

3. DynamoDB 테이블 생성하기

이제 실시간 데이터를 저장할 DynamoDB 테이블을 생성해야 합니다. AWS Management Console에 로그인하여 DynamoDB 서비스로 이동한 다음, 다음 단계를 따라서 테이블을 생성합니다.

“테이블 생성” 버튼을 클릭합니다.
“테이블 이름”에 적절한 이름을 입력합니다. 예를 들어, “data_table”을 입력합니다.
“기본 키”를 선택합니다. 예를 들어, “data”라는 문자열 속성을 기본 키로 선택합니다.
“테이블 생성” 버튼을 클릭하여 테이블을 생성합니다.

4. Lambda 함수와 DynamoDB 테이블 연결하기

마지막으로 Lambda 함수와 DynamoDB 테이블을 연결해야 합니다. AWS Management Console로 이동하여 Lambda 함수에 들어가서 다음 단계를 따릅니다.

“관리” 탭에서 “인테그레이션”을 선택합니다.
“새 인테그레이션”을 선택하고, “AWS 서비스”를 선택합니다.
“서비스”에서 “DynamoDB”를 선택하고, “트리거 유형”에서 적절한 설정을 선택합니다. 예를 들어, “새 레코드”를 선택합니다.
“테이블”에서 생성한 DynamoDB 테이블을 선택합니다.
“방법” 옵션에서 “Data Only(수정될 때만)” 또는 “All Changes”를 선택합니다.
“추가” 버튼을 클릭하여 인테그레이션을 추가합니다.
“저장” 버튼을 클릭하여 변경사항을 저장합니다.

5. 테스트

이제 Lambda 함수와 DynamoDB 테이블이 준비되었습니다. 테스트를 위해 다음 단계를 수행합니다.

AWS Management Console로 돌아가서 Lambda 함수로 이동합니다.
“테스트” 이벤트를 생성하고, 필요한 데이터를 입력합니다.
“테스트” 버튼을 클릭하여 테스트를 실행하고, 이벤트 데이터가 DynamoDB 테이블에 저장되는지 확인합니다.

결론

AWS Lambda와 DynamoDB를 활용하여 실시간 데이터 처리를 수행하는 방법에 대해 살펴보았습니다. 이를 통해 실시간 데이터 처리 작업을 간소화하고, 뛰어난 확장성 및 성능을 제공받을 수 있습니다. Python으로 작성된 코드를 사용하였으며, AWS Management Console을 통해 간편하게 설정 및 실행할 수 있습니다.