[python] Celery의 작업 실패 처리를 위한 대체 전략은 어떤 것이 있는가?

21 Nov 2023

python

Celery는 Python 기반의 분산 작업 큐입니다. 작업을 비동기적으로 처리하고 결과를 반환하는데 사용됩니다. 그러나 때때로 작업이 실패할 수도 있으며 이를 처리하기 위해 몇 가지 대체 전략이 있습니다.

작업 재시도: 작업이 실패한다면, 해당 작업을 다시 시도할 수 있습니다. Celery는 작업 재시도를 지원하며 재시도 횟수를 설정할 수 있습니다. 예를 들어, 작업을 3번 재시도하도록 설정할 수 있습니다.

@app.task(bind=True, max_retries=3)
def my_task(self, arg1, arg2):
    try:
        # 작업 수행
    except Exception as exc:
        # 실패한 경우 재시도
        raise self.retry(exc=exc)

실패 큐: 작업이 실패하면, 해당 작업을 실패 큐에 넣을 수 있습니다. 실패 큐는 나중에 다시 확인하거나 관리자에게 알림을 보낼 때 사용될 수 있습니다.

from celery.exceptions import Reject

@app.task(bind=True)
def my_task(self, arg1, arg2):
    try:
        # 작업 수행
    except Exception as exc:
        # 실패한 경우 큐에서 제외
        self.reject(requeue=False)

로깅 및 알림: 작업이 실패할 때 로깅을 통해 실패 원인을 기록하고, 알림 시스템을 통해 관리자에게 알림을 보낼 수 있습니다. 예를 들어, 작업이 실패하면 이메일로 알림을 보내거나, Slack 등의 메시징 플랫폼으로 알림을 보낼 수 있습니다.

import logging

logger = logging.getLogger(__name__)

@app.task(bind=True)
def my_task(self, arg1, arg2):
    try:
        # 작업 수행
    except Exception as exc:
        # 실패한 경우 로깅 및 알림
        logger.error(f"작업 실패 - {exc}")
        send_notification_to_admin(f"작업 실패 - {exc}")

이러한 대체 전략을 사용하면 Celery 작업의 실패를 효과적으로 처리할 수 있습니다. 각 전략은 상황과 요구 사항에 따라 선택될 수 있습니다. Celery의 공식 문서를 참조하여 필요한 전략을 구현할 수도 있습니다.