Colin's Blog
[파이썬] 멀티스레딩과 병렬 처리의 공개 소스 라이브러리

Python은 멀티스레딩과 병렬 처리를 지원하는 강력한 언어입니다. 이를 실현하기 위해 다양한 공개 소스 라이브러리가 개발되었는데, 이러한 라이브러리들은 작업을 분산하고 동시에 실행하여 시스템 자원을 효율적으로 활용하는 데 도움을 줍니다. 이번 글에서는 Python에서 사용할 수 있는 주요 멀티스레딩과 병렬 처리 라이브러리를 알아보겠습니다.

1. threading 라이브러리

Python의 기본 라이브러리인 threading은 멀티스레딩을 구현하기 위해 사용됩니다. 이 라이브러리는 스레드 기반의 병렬 처리를 제공하며, 간단하게 사용할 수 있는 API를 가지고 있습니다. 아래는 threading 라이브러리를 사용한 예제 코드입니다.

import threading

def worker(num):
    print(f"Worker {num} started")
    # 작업 수행
    print(f"Worker {num} finished")

# 스레드 생성
threads = []
for i in range(5):
    t = threading.Thread(target=worker, args=(i,))
    t.start()
    threads.append(t)

# 모든 스레드의 작업이 완료될 때까지 대기
for t in threads:
    t.join()

print("All threads finished")

위 코드에서는 worker 함수를 각 스레드마다 실행시키고, 모든 스레드가 작업을 완료할 때까지 대기하는 방식으로 멀티스레딩이 구현되었습니다.

2. multiprocessing 라이브러리

Python의 multiprocessing 라이브러리는 병렬 처리를 위해 사용되며, 각각의 작업을 별개의 프로세스에서 실행시킵니다. 이는 GIL(Global Interpreter Lock)에 제약을 받지 않아 CPU-bound 작업에 더 효과적입니다. 아래는 multiprocessing 라이브러리를 사용한 예제 코드입니다.

import multiprocessing

def worker(num):
    print(f"Worker {num} started")
    # 작업 수행
    print(f"Worker {num} finished")

# 프로세스 생성
processes = []
for i in range(5):
    p = multiprocessing.Process(target=worker, args=(i,))
    p.start()
    processes.append(p)

# 모든 프로세스의 작업이 완료될 때까지 대기
for p in processes:
    p.join()

print("All processes finished")

위 코드에서는 worker 함수를 각 프로세스마다 실행시키고, 모든 프로세스가 작업을 완료할 때까지 대기하는 방식으로 병렬 처리가 구현되었습니다.

3. concurrent.futures 라이브러리

concurrent.futures는 Python 3.2부터 추가된 라이브러리로, 멀티스레딩과 병렬 처리를 위한 고수준 인터페이스를 제공합니다. ThreadPoolExecutor와 ProcessPoolExecutor를 포함하고 있어 간편한 멀티스레딩과 병렬 처리를 구현할 수 있습니다. 아래는 concurrent.futures 라이브러리를 사용한 예제 코드입니다.

import concurrent.futures

def worker(num):
    print(f"Worker {num} started")
    # 작업 수행
    print(f"Worker {num} finished")

# ThreadPoolExecutor를 사용한 멀티스레딩
with concurrent.futures.ThreadPoolExecutor() as executor:
    results = [executor.submit(worker, i) for i in range(5)]

# ProcessPoolExecutor를 사용한 병렬 처리
with concurrent.futures.ProcessPoolExecutor() as executor:
    results = [executor.submit(worker, i) for i in range(5)]

print("All tasks finished")

위 코드에서는 ThreadPoolExecutor와 ProcessPoolExecutor를 사용하여 각각 멀티스레딩과 병렬 처리를 구현하고 있습니다.

마무리

Python은 멀티스레딩과 병렬 처리를 위한 다양한 공개 소스 라이브러리를 제공하고 있습니다. 위에서 소개한 threading, multiprocessing, concurrent.futures 라이브러리를 잘 활용하면 작업의 효율성을 높일 수 있습니다. 애플리케이션의 요구사항에 따라 적절한 라이브러리를 선택하여 멀티스레딩과 병렬 처리를 구현해보세요!

© 2018 Colin. All rights reserved.