[python] Marshmallow와 Apache Kafka를 함께 사용하여 이벤트 기반 아키텍처 개발하기

04 Dec 2023

python

이벤트 기반 아키텍처는 분산 시스템을 구축할 때 많이 사용되는 패턴 중 하나입니다. 이 패턴은 애플리케이션의 다양한 컴포넌트 사이에서 비동기적으로 이벤트를 전달하고 처리하는 방식을 의미합니다. 이러한 아키텍처를 구현하기 위해서는 데이터 직렬화와 메시지 큐 시스템이 필요한데, 이때 Marshmallow와 Apache Kafka를 함께 사용할 수 있습니다.

Marshmallow란?

Marshmallow는 Python에서 데이터 직렬화 및 유효성 검사를 위한 라이브러리입니다. 이를 사용하면 데이터를 쉽게 직렬화하고, JSON 형식으로 변환할 수 있습니다. Marshmallow는 객체와 JSON 간의 변환을 편리하게 도와주는데, 이는 이벤트 기반 아키텍처에서 메시지 전송을 처리하는 데 유용합니다.

Apache Kafka란?

Apache Kafka는 분산 메시지 큐 시스템으로, 대규모 실시간 데이터 스트리밍 애플리케이션을 구축하는 데 사용됩니다. Kafka는 메시지를 하나 이상의 토픽으로 발행하고, 구독자들이 해당 토픽을 구독하여 메시지를 수신할 수 있도록 합니다. 이러한 속성은 이벤트 기반 아키텍처에서 메시지 전송과 처리를 지원하는 데 적합합니다.

Marshmallow와 Apache Kafka 함께 사용하기

이제 Marshmallow와 Apache Kafka를 함께 사용하여 이벤트 기반 아키텍처를 개발해보겠습니다. 아래는 간단한 예제 코드입니다.

from kafka import KafkaProducer, KafkaConsumer
from marshmallow import Schema, fields, post_load

class Event:
    def __init__(self, message):
        self.message = message

class EventSchema(Schema):
    message = fields.Str()

    @post_load
    def make_event(self, data, **kwargs):
        return Event(**data)

# Kafka Producer 설정
producer = KafkaProducer(bootstrap_servers='localhost:9092')

# Kafka Consumer 설정
consumer = KafkaConsumer('events', bootstrap_servers='localhost:9092')

# 이벤트 발행
def publish_event(event):
    serialized_event = EventSchema().dumps(event)
    producer.send('events', serialized_event.encode())

# 이벤트 처리
def handle_event(event):
    deserialized_event = EventSchema().loads(event.value.decode())
    print(f"Received event: {deserialized_event.message}")

# 이벤트 수신
for message in consumer:
    handle_event(message)

# 이벤트 발행
event = Event(message="Hello, World!")
publish_event(event)

위의 코드에서는 Marshmallow를 사용하여 Event 클래스의 인스턴스를 JSON 형식으로 직렬화하고, KafkaProducer를 사용하여 메시지를 발행합니다. KafkaConsumer는 ‘events’ 토픽을 구독하고, 메시지를 처리하는 handle_event 함수를 정의한 후 수신된 메시지를 처리합니다.

결론

Marshmallow와 Apache Kafka는 이벤트 기반 아키텍처를 개발하는 데 도움이 되는 강력한 도구입니다. Marshmallow를 사용하여 데이터를 직렬화하고 유효성을 검사하며, Apache Kafka를 사용하여 메시지를 전송하고 처리할 수 있습니다. 이를 통해 애플리케이션의 컴포넌트 사이에서 비동기적으로 이벤트를 전달하고 처리할 수 있습니다. 자세한 내용은 Marshmallow와 Apache Kafka의 공식 문서를 참조하시기 바랍니다.

Marshmallow 문서: 링크
Apache Kafka 문서: 링크