[파이썬] Tornado에서의 메세지 큐 처리

06 Sep 2023

Tornado

Tornado는 Python으로 작성된 비동기 웹 프레임워크이며, 고성능 웹 애플리케이션을 구축하는 데 사용됩니다. 비동기 처리를 기반으로 한 Tornado의 특징은 작업이 블로킹되지 않고 효율적으로 처리되는 것입니다. 이러한 이점을 활용하여 Tornado에서 메세지 큐 처리를 구현하는 방법을 살펴보겠습니다.

메세지 큐 소개

메시지 큐는 비동기 메시지 패턴을 구현하는 소프트웨어 패턴입니다. 메시지 큐를 사용하면 일반적으로 프로듀서(데이터를 생성하는 컴포넌트)와 컨슈머(데이터를 소비하는 컴포넌트) 간에 느슨한 결합을 유지할 수 있습니다. 프로듀서는 데이터를 큐에 넣고, 컨슈머는 큐에서 데이터를 가져와 작업을 수행합니다. 이 방식으로 작업을 비동기적으로 처리하고 확장 가능한 시스템을 구축할 수 있습니다.

Tornado에서의 메세지 큐 처리 방법

Tornado에서 메세지 큐 처리를 구현하기 위해 다음 단계를 따릅니다:

RabbitMQ 또는 Apache Kafka와 같은 외부 메세지 브로커를 설정합니다.
Tornado의 비동기 기능을 활용하여 메시지 큐와 통신합니다.
프로듀서에서 데이터를 생성하고 메시지 큐에 전송합니다.
컨슈머에서는 메시지 큐에서 데이터를 가져와 작업을 수행합니다.

아래는 Tornado에서 RabbitMQ를 사용하여 메세지 큐 처리를 구현하는 예시 코드입니다.

import tornado.ioloop
import tornado.web
from tornado.httpclient import AsyncHTTPClient
import pika

class ProducerHandler(tornado.web.RequestHandler):
    def post(self):
        data = self.get_argument('data')
        # RabbitMQ로 데이터 전송하는 코드
        connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
        channel = connection.channel()
        channel.queue_declare(queue='my_queue')
        channel.basic_publish(exchange='',
                              routing_key='my_queue',
                              body=data)
        connection.close()
        self.write("Data sent to message queue successfully")

class ConsumerHandler(tornado.web.RequestHandler):
    async def get(self):
        # RabbitMQ에서 데이터 가져오는 코드
        connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
        channel = connection.channel()
        channel.queue_declare(queue='my_queue')
        method_frame, header_frame, body = channel.basic_get(queue='my_queue')
        if method_frame:
            self.write(f"Data received from message queue: {body}")
            # 작업 처리
            # ...
            channel.basic_ack(method_frame.delivery_tag)
        else:
            self.write("No data available in message queue")
        connection.close()

class MainHandler(tornado.web.RequestHandler):
    def get(self):
        self.write("Hello, Tornado!")

def make_app():
    return tornado.web.Application([
        (r"/", MainHandler),
        (r"/produce", ProducerHandler),
        (r"/consume", ConsumerHandler),
    ])

if __name__ == "__main__":
    app = make_app()
    app.listen(8888)
    tornado.ioloop.IOLoop.current().start()

위의 예시 코드에서 /produce 엔드포인트는 데이터를 생성하여 RabbitMQ 메시지 큐에 전송하고, /consume 엔드포인트는 메시지 큐에서 데이터를 가져와 작업을 수행합니다.

이렇게 Tornado에서 메세지 큐 처리를 구현하면 비동기성과 확장 가능성을 효과적으로 활용할 수 있습니다. 메시지 큐를 사용하여 시스템의 다른 컴포넌트 간에 느슨한 결합을 유지하며, 처리량을 향상시킬 수 있습니다.