[파이썬] Django를 이용한 배치 작업 스케줄링

01 Sep 2023

python

Django는 Python에서 웹 개발을 위해 자주 사용되는 프레임워크입니다. 그러나 Django는 단순히 웹 애플리케이션을 개발하는 데에만 사용되지 않습니다. Django를 사용하여 배치 작업 스케줄링을 구현할 수도 있습니다. 이렇게 하면 백그라운드에서 일괄 작업을 자동으로 실행하여 시스템의 효율성을 높일 수 있습니다.

본 블로그에서는 Django를 이용한 배치 작업 스케줄링에 대해 알아보겠습니다.

배치 작업 스케줄링

배치 작업 스케줄링은 작업을 예약하여 정기적으로 실행하는 것을 의미합니다. 이러한 작업은 일반적으로 데이터베이스의 데이터를 처리, 갱신 또는 계산하는 등의 일괄 처리 작업에 사용됩니다. Django에서는 Celery, APScheduler 등의 외부 라이브러리를 활용하여 배치 작업 스케줄링을 구현할 수 있습니다.

Celery 사용하기

Celery는 Python에서 분산 작업 큐를 구축하기 위한 오픈 소스 프로젝트입니다. 필요한 작업을 메시지 큐로 보내고 백그라운드에서 작업을 처리할 수 있습니다.

먼저, 우리는 Celery를 설치해야 합니다. 터미널에 다음 명령을 입력하세요:

pip install celery

그런 다음, Django 프로젝트에 필요한 설정을 추가합니다. settings.py 파일에 다음과 같은 코드를 추가하세요:

# settings.py
CELERY_BROKER_URL = 'redis://localhost:6379'
CELERY_RESULT_BACKEND = 'redis://localhost:6379'

CELERY_ACCEPT_CONTENT = ['application/json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'

이제 배치 작업을 정의합니다. tasks.py 파일에 다음 코드를 추가하세요:

# tasks.py
from celery import shared_task

@shared_task
def update_data():
    # 데이터 처리 작업을 진행하는 코드

마지막으로, Celery를 실행합니다. 터미널에서 다음 명령을 실행하세요:

celery -A your_project_name worker --loglevel=info

APScheduler 사용하기

APScheduler는 Python에서 스케줄링 라이브러리입니다. APScheduler를 사용하면 Django 내에서 작업을 예약하고 주기적으로 실행할 수 있습니다.

먼저, APScheduler를 설치하세요:

pip install apscheduler

그런 다음, Django 프로젝트의 settings.py 파일에 다음과 같이 코드를 추가하세요:

# settings.py
from apscheduler.jobstores.django import DjangoJobStore

# APScheduler 설정
SCHEDULER_JOBSTORES = {
    'default': DjangoJobStore(),
}

SCHEDULER_EXECUTORS = {
    'default': {
        'type': 'threadpool',
        'max_workers': 20
    }
}

SCHEDULER_JOB_DEFAULTS = {
    'coalesce': False,
    'max_instances': 3
}

SCHEDULER_API_ENABLED = True

이제 배치 작업을 정의합니다. tasks.py 파일에 다음 코드를 추가하세요:

# tasks.py
from apscheduler.schedulers.background import BackgroundScheduler

def update_data():
    # 데이터 처리 작업을 진행하는 코드

scheduler = BackgroundScheduler()
scheduler.add_job(update_data, 'interval', hours=1)  # 매 시간마다 실행됨
scheduler.start()

결론

Django를 사용하여 배치 작업 스케줄링을 구현하는 방법을 배웠습니다. Celery와 APScheduler를 활용하여 백그라운드에서 일괄 처리 작업을 자동으로 실행할 수 있습니다. 배치 작업 스케줄링을 통해 효율적인 시스템 운영을 할 수 있으며, 데이터 처리 작업 등을 자동화하여 개발자의 생산성을 높일 수 있습니다.