파이썬을 사용한 서버리스 데이터 변환

20 Sep 2023

python

서버리스 아키텍처는 더 나은 확장성과 비용 효율성을 제공하는 현대적인 개발 방법론 중 하나입니다. 이 아키텍처는 인프라 관리, 확장성, 가용성 등과 같은 일반적인 서버 기반 문제를 해결하는데 도움이 됩니다. 이번 블로그 포스트에서는 파이썬을 사용하여 서버리스 환경에서 데이터 변환을 수행하는 방법에 대해 알아보겠습니다.

AWS Lambda를 사용한 서버리스 데이터 변환

AWS Lambda는 서버리스 컴퓨팅 서비스로서, 소규모의 코드 간단한 기능을 수행하는 함수 형태의 애플리케이션을 실행할 수 있습니다. 이를 이용하여 데이터 변환 작업을 수행할 수 있습니다.

import json

def lambda_handler(event, context):
    # 이벤트 데이터 가져오기
    data = event['data']
    
    # 데이터 변환 로직
    transformed_data = transform_data(data)
    
    # 변환된 데이터 반환
    return {
        'statusCode': 200,
        'body': json.dumps(transformed_data)
    }

def transform_data(data):
    # 데이터 변환 로직 작성
    transformed_data = data.upper()
    return transformed_data

위의 코드 예시에서는 AWS Lambda 함수를 생성하여 데이터 변환 작업을 수행합니다. ‘lambda_handler’ 함수는 Lambda 함수의 진입점이며, ‘event’ 매개변수로 이벤트 데이터를 받고, ‘context’ 매개변수는 함수의 실행 컨텍스트 정보를 제공합니다.

데이터 변환 로직은 ‘transform_data’ 함수에서 작성됩니다. 위의 예시에서는 데이터를 대문자로 변환하는 단순한 예제입니다. 실제 데이터 변환 작업에는 복잡한 로직을 적용할 수 있습니다.

GitHub Actions를 사용한 자동 배포

AWS Lambda 함수를 업데이트할 때마다 수동으로 배포하는 것은 번거로운 일입니다. GitHub Actions를 사용하여 소스 코드 변경이 있을 때마다 자동으로 배포하는 프로세스를 구축할 수 있습니다.

name: Deploy Lambda Function

on:
  push:
    branches:
      - main

jobs:
  build:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout Code
        uses: actions/checkout@v2

      - name: Set Up Python
        uses: actions/setup-python@v2
        with:
          python-version: 3.x

      - name: Install Dependencies
        run: pip install -r requirements.txt

      - name: Deploy Lambda Function
        env:
          AWS_ACCESS_KEY_ID: ${{ secrets.AWS_ACCESS_KEY_ID }}
          AWS_SECRET_ACCESS_KEY: ${{ secrets.AWS_SECRET_ACCESS_KEY }}
          AWS_REGION: us-east-1
        run: |
          aws lambda update-function-code \
            --function-name my-lambda-function \
            --zip-file fileb://lambda_function.zip

위의 코드 예시는 GitHub Actions 워크플로우를 정의하는 YAML 파일입니다. 코드가 ‘main’ 브랜치에 푸시될 때마다 해당 워크플로우가 실행되며, Lambda 함수의 소스 코드를 가져와서 의존성을 설치한 후에 배포를 수행합니다.

설정에는 AWS 액세스 키 및 시크릿 키를 GitHub 저장소의 Secrets에 저장해야 합니다.

마치며

이번에는 파이썬을 사용하여 서버리스 환경에서 데이터 변환 작업을 수행하는 방법에 대해 알아보았습니다. AWS Lambda와 GitHub Actions를 통해 효율적이고 자동화된 데이터 변환 프로세스를 구축할 수 있습니다. 이러한 서버리스 아키텍처는 데이터 변환 작업을 더욱 효율적으로 처리하는데 도움이 될 것입니다.

#python #서버리스 #데이터변환 #AWSLambda #GitHubActions