[파이썬] 멀티스레딩과 병렬 처리의 패턴

04 Sep 2023

python

컴퓨팅 환경이 발전하면서 데이터 처리 속도의 요구가 증가했습니다. 싱글 스레드로 동작하는 프로그램은 병목 현상을 일으킬 수 있기 때문에 멀티스레딩과 병렬 처리를 통해 성능을 향상시킬 수 있습니다. 이 글에서는 멀티스레딩과 병렬 처리의 패턴을 파이썬 예제를 통해 알아보겠습니다.

1. 멀티스레딩과 병렬 처리의 개념

멀티스레딩은 한 번에 여러 개의 스레드를 동시에 실행하는 것을 의미합니다. 이를 통해 여러 작업을 동시에 처리하여 처리 시간을 단축시킬 수 있습니다. 병렬 처리는 여러 개의 프로세스나 스레드를 동시에 실행하는 것을 의미합니다. 이를 통해 하나의 작업을 여러 개의 작은 작업으로 나누어 병렬로 처리할 수 있습니다.

2. GIL (Global Interpreter Lock) 문제

파이썬에서는 GIL이라는 기능이 있어 동시에 여러 개의 스레드가 실행되는 것을 제한합니다. 이로 인해 멀티스레딩을 사용해도 싱글 스레드로 실행하는 것과 큰 성능 차이가 나지 않을 수 있습니다. 하지만 I/O-bound 작업(입출력 작업)에서는 여러 스레드를 사용하더라도 성능 향상을 기대할 수 있습니다.

3. 멀티스레딩과 병렬 처리의 패턴

3.1. 스레드 풀 패턴

스레드 풀 패턴은 미리 생성된 스레드 풀에서 스레드를 가져와 작업을 처리하는 패턴입니다. 파이썬에서는 concurrent.futures 모듈을 통해 스레드 풀을 구현할 수 있습니다. 다음은 스레드 풀 패턴의 예제 코드입니다.

import concurrent.futures

def worker(num):
    return num ** 2

def main():
    with concurrent.futures.ThreadPoolExecutor() as executor:
        results = executor.map(worker, range(10))
    
    for result in results:
        print(result)

if __name__ == "__main__":
    main()

3.2. 프로세스 풀 패턴

프로세스 풀 패턴은 미리 생성된 프로세스 풀에서 프로세스를 가져와 작업을 처리하는 패턴입니다. 파이썬에서는 concurrent.futures 모듈의 ProcessPoolExecutor 클래스를 사용하여 프로세스 풀을 구현할 수 있습니다. 다음은 프로세스 풀 패턴의 예제 코드입니다.

import concurrent.futures

def worker(num):
    return num ** 2

def main():
    with concurrent.futures.ProcessPoolExecutor() as executor:
        results = executor.map(worker, range(10))
    
    for result in results:
        print(result)

if __name__ == "__main__":
    main()

3.3. 비동기 처리 패턴

비동기 처리 패턴은 작업을 분할하고 동시에 실행하여 처리 속도를 향상시키는 패턴입니다. 파이썬에서는 asyncio 모듈과 async/await 키워드를 사용하여 비동기 처리를 구현할 수 있습니다. 다음은 비동기 처리 패턴의 예제 코드입니다.

import asyncio

async def worker(num):
    return num ** 2

async def main():
    tasks = []
    for i in range(10):
        tasks.append(asyncio.create_task(worker(i)))
    
    results = await asyncio.gather(*tasks)
    for result in results:
        print(result)

if __name__ == "__main__":
    asyncio.run(main())

결론

멀티스레딩과 병렬 처리를 통해 파이썬 프로그램의 성능을 향상시킬 수 있습니다. 스레드 풀 패턴, 프로세스 풀 패턴, 비동기 처리 패턴 등 다양한 패턴을 적용하여 효율적인 데이터 처리를 할 수 있습니다. 하지만 GIL 문제와 작업의 특성에 따라 성능 향상이 미비할 수도 있으므로 신중하게 패턴을 선택해야 합니다.