Celery는 분산 task queue를 관리하기 위한 Python 패키지입니다. 큐 용량은 작업 로드와 처리 속도에 따라 변경될 수 있습니다. 따라서 Celery를 사용할 때 큐 용량을 동적으로 확장하는 방법을 알아보겠습니다.

1. Celery Worker 확장

Celery Worker는 실제로 큐에서 작업을 처리하는 프로세스입니다. 큐 용량을 동적으로 확장하려면 Celery Worker 프로세스 수를 늘려야 합니다. 이를 위해서는 다음과 같은 단계를 따를 수 있습니다.

1.1. Celery Worker 실행

Celery Worker를 실행하기 위해 다음 명령어를 사용합니다.

celery -A your_app_name worker --loglevel=info

1.2. Worker 프로세스 수 조정

Worker 프로세스 수는 -c 또는 --concurrency 옵션을 사용하여 조정할 수 있습니다. 예를 들어, 4개의 Worker 프로세스를 실행하려면 다음과 같이 명령어를 수정할 수 있습니다.

celery -A your_app_name worker -c 4 --loglevel=info

1.3. Worker 프로세스 수 동적으로 조정

Worker 프로세스 수를 동적으로 조정하려면 Celery의 스케일링 기능을 사용할 수 있습니다. 이를 위해 다음 단계를 따릅니다.

1. Redis 등의 broker를 설정합니다.
2. Celery Worker 프로세스를 실행합니다.
3. Celery Beat을 설정하여 주기적으로 Worker 프로세스 수를 변경하는 작업을 생성합니다.

from celery.schedules import crontab

app.conf.beat_schedule = {
    "scale_workers": {
        "task": "path.to.your.task",
        "schedule": crontab(minute="*/5"),  # 5분마다 실행
    },
}

위의 코드에서 path.to.your.task는 Worker 프로세스 수를 동적으로 조정하는 작업을 수행하는 Celery task의 경로입니다. 해당 작업에서 Worker 프로세스 수를 계산하고 조정하는 로직을 구현해야 합니다.

2. Celery Executor 조정

Celery Executor는 큐에 들어오는 작업을 실행하는 백그라운드 프로세스입니다. 큐 용량을 동적으로 확장하려면 Executor를 조정해야 합니다. 이를 위해서는 다음과 같은 단계를 따를 수 있습니다.

1. Executor의 설정 파일을 엽니다.
2. max_workers 또는 관련된 속성을 찾아 적절한 값으로 수정합니다.

# celeryconfig.py

# Executor 설정
executor_max_workers = 10

위의 예제에서 executor_max_workers는 Executor의 최대 Worker 프로세스 수를 나타냅니다. 이 값을 필요에 따라 조정하여 큐 용량을 동적으로 확장할 수 있습니다.

참고 자료

• Celery Documentation