[python] Marshmallow와 Celery를 함께 사용하여 비동기 작업 처리 방법

04 Dec 2023

python

비동기 작업은 웹 애플리케이션에서 많이 사용되는 기술 중 하나입니다. 이를 통해 사용자의 요청에 대한 응답 시간을 줄이고 처리 속도를 향상시킬 수 있습니다. 이번 블로그 포스트에서는 Python의 Marshmallow와 Celery를 함께 사용하여 비동기 작업을 처리하는 방법에 대해 알아보겠습니다.

Marshmallow란 무엇인가?

Marshmallow는 Python의 직렬화 및 역직렬화 라이브러리입니다. JSON과 같은 데이터를 Python 객체로 변환하거나 그 반대로 변환할 수 있습니다. Marshmallow는 데이터 유효성 검사, 필드 직렬화, 네스트된 객체 처리 등 다양한 기능을 제공합니다.

Celery란 무엇인가?

Celery는 Python으로 작성된 분산 작업 큐 시스템입니다. 비동기 작업을 처리하기 위해 사용되며, 태스크를 큐에 넣고 백그라운드에서 실행될 수 있도록 지원합니다. Celery는 분산 시스템과 효과적으로 통신하고 지속적으로 확장 가능한 아키텍처를 제공하여 비동기 작업을 처리하는 데 매우 유용합니다.

Marshmallow와 Celery를 함께 사용하기

필요한 패키지 설치
```
pip install marshmallow celery
```

Marshmallow 스키마 정의하기

from marshmallow import Schema, fields

class MySchema(Schema):
    field1 = fields.Str()
    field2 = fields.Int()

Celery 태스크 작성하기

from celery import Celery

app = Celery('myapp', broker='redis://localhost:6379/0')

@app.task
def process_data(data):
    # 데이터 처리 작업 수행
    return "완료되었습니다."

@app.task
def process_data_with_schema(data):
    schema = MySchema()
    result = schema.load(data)  # Marshmallow 스키마를 사용하여 데이터 로드
    return process_data.delay(result.data)  # Celery를 사용하여 비동기로 처리

태스크 호출하기

data = {
    "field1": "value1",
    "field2": 123
}

process_data_with_schema.delay(data)  # 비동기 작업으로 처리하기 위해 Celery 태스크 호출

작업 결과 확인하기

result = process_data_with_schema.delay(data)
print(result.get())  # 결과 값 가져오기

Marshmallow와 Celery를 함께 사용하여 비동기 작업을 처리하는 방법에 대해 알아보았습니다. 이를 통해 애플리케이션의 성능과 응답 시간을 향상시킬 수 있습니다. 두 라이브러리의 공식 문서를 참조하면 더 자세한 사용 방법과 설정에 대해 알아볼 수 있습니다.

Marshmallow 문서: https://marshmallow.readthedocs.io/
Celery 문서: https://docs.celeryproject.org/