[python] 파이썬에서의 멀티스레딩과 IO 처리의 성능 비교

18 Dec 2023

python

파이썬은 멀티스레드를 효율적으로 활용하여 동시에 여러 작업을 처리할 수 있다. 또한, 입력/출력(IO) 작업을 효율적으로 다룰 수 있다. 이번 블로그에서는 파이썬의 멀티스레딩과 IO 처리를 비교하여 성능 향상에 관해 알아보겠다.

멀티스레딩

멀티스레드를 이용하면 동시에 여러 작업을 처리할 수 있어서 CPU 바운드 작업에서 성능 향상을 기대할 수 있다. 다만, 파이썬의 Global Interpreter Lock (GIL) 때문에 멀티스레드로 CPU를 병렬로 활용하는 작업에는 제약이 따른다.

예를 들어, 다수의 스레드가 CPU를 동시에 사용해야 하는 경우, GIL로 인해 병목 현상이 발생하여 성능이 떨어질 수 있다. 그러나 I/O 작업(IO-bound tasks)에서는 멀티스레드가 효율적으로 사용될 수 있다.

멀티스레딩의 예제 코드는 아래와 같다.

import threading

def task():
    # 작업 내용
    pass

threads = []
for _ in range(10):
    t = threading.Thread(target=task)
    threads.append(t)
    t.start()

for t in threads:
    t.join()

IO 처리

파이썬은 멀티프로세싱 모듈을 통해 IO 처리를 위해 병렬로 작업을 처리할 수 있다. 멀티스레드와는 달리 멀티프로세싱은 GIL의 제약을 받지 않기 때문에 CPU 바운드 작업에서도 성능을 향상시킬 수 있다.

IO 작업은 주로 파일 읽기/쓰기, 네트워크 통신 등으로, 이러한 작업을 병렬로 처리하면 시간을 단축시킬 수 있다.

멀티프로세싱의 예제 코드는 아래와 같다.

from multiprocessing import Pool

def task():
    # 작업 내용
    pass

if __name__ == '__main__':
    with Pool(5) as p:
        p.map(task, range(10))

성능 비교

실제 성능 비교를 위해 CPU 바운드 작업과 IO 바운드 작업을 각각 멀티스레딩과 멀티프로세싱으로 처리하는 코드를 작성하여 실행해보았다. 그 결과, CPU 바운드 작업에서는 멀티프로세싱이 성능을 향상시키는 반면, IO 바운드 작업에서는 멀티스레딩이 더 나은 성능을 보였다.

이러한 결과들은 작업 유형에 따라 다를 수 있으며, 실제 환경에서는 여러 방면으로 성능을 비교하고 고려해야 한다.

결론

멀티스레딩과 멀티프로세싱은 각각의 장단점을 가지고 있으며, 작업의 특성에 따라 효율적으로 선택해야 한다. CPU 바운드 작업에서는 멀티프로세싱, IO 바운드 작업에서는 멀티스레딩이 성능 향상에 도움을 줄 수 있다.

참고문헌:

파이썬 공식 문서: https://docs.python.org/3/library/threading.html
파이썬 공식 문서: https://docs.python.org/3/library/multiprocessing.html