파이썬 Zappa를 사용하여 AWS Kinesis를 통한 스트리밍 데이터 처리 애플리케이션 구축하기

26 Sep 2023

python

안녕하세요! 오늘은 파이썬 개발자들을 위해 AWS Kinesis를 사용하여 스트리밍 데이터 처리 애플리케이션을 구축하는 방법에 대해 알아보겠습니다. 이를 위해 Zappa라는 파이썬 라이브러리를 사용할 것입니다. Kinesis는 대용량 데이터를 실시간으로 처리하기 위해 설계된 AWS의 관리형 스트리밍 플랫폼입니다.

1. 환경 설정

Zappa를 사용하여 Kinesis를 처리할 애플리케이션을 구축하기 위해 몇 가지 환경 설정이 필요합니다. 먼저, zappa init 명령어를 사용하여 새로운 Zappa 프로젝트를 생성합니다. 이 명령어를 실행하면 zappa_settings.json 파일이 생성됩니다. 해당 파일을 열어야 합니다.

2. Kinesis 스트림 생성

다음 단계는 AWS 콘솔에서 Kinesis 스트림을 생성하는 것입니다. Kinesis 스트림은 데이터를 처리하고 저장하기 위한 파이프라인 역할을 합니다. AWS 콘솔에서 Kinesis 서비스로 이동하여 스트림을 생성하고, 스트림 이름을 기록해둡니다.

3. 소스 코드 구현

Zappa는 Flask와 같은 웹 프레임워크와 함께 사용하기에 적합합니다. flask를 설치하고, 모든 필요한 의존성을 requirements.txt 파일에 작성합니다.

먼저, Flask 애플리케이션을 작성합니다. 아래는 스트림으로부터 데이터를 읽고 출력하는 기본 코드입니다.

from flask import Flask
from zappa.asynchronous import task

app = Flask(__name__)

@app.route('/stream', methods=['POST'])
def stream_handler():
    # Kinesis 스트림으로부터 데이터를 읽는 로직
    return "Data processed successfully!"

@task
def process_data(data):
    # 데이터 처리 로직
    print(data)

if __name__ == '__main__':
    app.run()

위 코드에서 stream_handler 함수는 Kinesis 스트림으로부터 데이터를 읽는 역할을 합니다. process_data 함수는 데이터를 처리하기 위한 로직을 정의합니다.

4. Zappa 설정

이제 Zappa 설정 파일을 수정하여 Kinesis 이벤트를 트리거로 사용하여 애플리케이션을 실행할 수 있도록 합니다. zappa_settings.json 파일을 열고 아래와 같이 수정합니다.

{
    "dev": {
        "app_function": "app.app",
        "aws_region": "your_aws_region",
        "profile_name": "your_aws_profile",
        "events": [
            {
                "function": "app.stream_handler",
                "event_source": {
                    "arn": "your_kinesis_stream_arn",
                    "batch_size": 100,
                    "starting_position": "TRIM_HORIZON"
                }
            }
        ]
    }
}

your_aws_region과 your_aws_profile은 AWS 설정에 따라서 값을 변경해주어야 합니다. 또한, your_kinesis_stream_arn도 실제로 생성한 Kinesis 스트림의 ARN으로 변경해주어야 합니다.

5. 배포

이제 애플리케이션을 배포할 준비가 되었습니다. 아래의 명령어를 사용하여 Zappa를 통해 애플리케이션을 배포합니다.

zappa deploy dev

애플리케이션이 배포되고 나면, AWS Lambda와 API Gateway를 통해 스트리밍 데이터를 처리할 수 있게 됩니다.

6. 요약

이제 파이썬 Zappa를 사용하여 AWS Kinesis를 통한 스트리밍 데이터 처리 애플리케이션을 구축하는 방법에 대해 알아보았습니다. Zappa를 사용하면 빠르고 간편하게 파이썬 코드를 서버리스 환경에 배포할 수 있습니다. 이를 통해 실시간으로 대용량 데이터를 처리하고, 스트리밍 데이터 애플리케이션을 구축할 수 있습니다. #Python #AWS