[파이썬] 멀티스레딩과 병렬 처리의 로깅 전략

04 Sep 2023

python

파이썬에서 멀티스레딩과 병렬 처리를 사용할 때 로깅 전략은 매우 중요합니다. 로그는 프로그램의 상태와 동작을 파악하는데 필수적인 도구입니다. 이 글에서는 멀티스레딩과 병렬 처리 환경에서 로깅을 어떻게 처리해야 하는지에 대해 알아보겠습니다.

로깅의 중요성

어떤 작업을 병렬로 처리하거나 다수의 스레드를 사용한다면, 각 작업 또는 스레드에서 수행되는 로깅 메시지들은 동시에 발생할 수 있습니다. 이로 인해 로그들이 서로 섞이거나 일관성 없이 출력될 수 있습니다. 이러한 현상은 디버깅을 어렵게 만들며, 어떤 로그가 어떤 작업 또는 스레드에서 발생한 것인지 파악하기 어렵게 만듭니다.

따라서 멀티스레딩과 병렬 처리 환경에서는 로깅을 위해 적절한 전략을 사용해야 합니다. 이를 통해 로그의 발생 순서를 보존하고, 작업 또는 스레드 간에 일관된 로깅을 보장할 수 있습니다.

로깅 전략

동기화된 로깅: 모든 로깅 작업을 하나의 큐에 넣고 하나의 스레드에서 처리하는 방법입니다. 이 방법은 각각의 로그 메시지를 순서대로 처리하여 일관성과 순서를 보장합니다. 하지만 모든 로깅 작업을 하나의 스레드가 처리하므로, 다른 작업이나 스레드가 로깅 작업을 하는 동안 대기해야 하는 단점이 있습니다.

import logging
import queue
import threading

log_queue = queue.Queue()
logging.basicConfig(level=logging.INFO)

def log_worker():
    while True:
        record = log_queue.get()
        logger = logging.getLogger(record.name)
        logger.handle(record)
        log_queue.task_done()

worker_thread = threading.Thread(target=log_worker)
worker_thread.daemon = True
worker_thread.start()

# 로깅 예시
def do_work():
    # 작업 수행

    # 로그 메시지 생성
    log_record = logging.makeLogRecord({
        'name': 'worker_thread',
        'levelname': 'INFO',
        'msg': 'Work done by worker thread'
    })

    # 로그 큐에 추가
    log_queue.put(log_record)

개별 로깅: 각 작업 또는 스레드마다 별도의 로거를 생성하여 로깅 작업을 수행하는 방법입니다. 이 방법은 각 작업 또는 스레드의 로거가 독립적으로 동작하기 때문에, 로그 메시지의 발생 순서와 작업/스레드 간에 일관성을 유지할 수 있습니다. 하지만 로거 인스턴스 생성과 설정에 시간이 걸릴 수 있으며, 로깅 작업이 많은 경우 메모리 소비가 증가할 수 있습니다.
```
import logging
import threading

def do_work():
    # 작업 수행

    # 로거 생성
    logger = logging.getLogger('worker_thread')
    logger.setLevel(logging.INFO)

    # 로깅
    logger.info('Work done by worker thread')
```

결론

멀티스레딩과 병렬 처리 환경에서 로깅은 중요한 고려 사항입니다. 동기화된 로깅과 개별 로깅은 각각 장단점이 있으니, 상황에 맞게 적절한 로깅 전략을 선택해야 합니다. 로그 메시지의 발생 순서와 작업/스레드 간에 일관성을 유지하는 것이 중요하므로, 이를 고려하여 로깅 코드를 설계해야 합니다.