파이썬은 강력하고 유연한 언어이지만, 메모리 사용량이 크게 문제가 될 수 있습니다. 특히 대용량 데이터를 다루거나 메모리 제약이 있는 환경에서는 데이터 구조를 최적화하는 것이 중요합니다. 이번 포스트에서는 파이썬 데이터 구조를 최적화하기 위한 몇 가지 기법을 살펴보겠습니다.

1. 제너레이터 사용하기

파이썬에서는 제너레이터(generators)를 사용하여 이터레이션을 처리할 수 있습니다. 제너레이터는 한 번에 하나의 요소를 생성하므로 전체 데이터를 메모리에 로드할 필요가 없습니다. 이는 대량의 데이터를 다룰 때 메모리 사용량을 크게 줄여줍니다. 예를 들어, 큰 파일을 한 줄씩 읽어야 할 때 제너레이터를 사용하여 메모리를 효율적으로 관리할 수 있습니다.

def read_file(file_path):
    with open(file_path, 'r') as file:
        for line in file:
            yield line

for line in read_file('large_file.txt'):
    process(line)

2. 슬라이싱 대신 이터레이션 사용하기

파이썬에서는 슬라이싱을 사용하여 리스트의 일부를 추출할 수 있습니다. 하지만 슬라이싱은 원본 리스트를 복사하여 새로운 리스트를 생성하므로 메모리를 낭비할 수 있습니다. 대신 이터레이션을 사용하여 필요한 요소만 처리하는 것이 좋습니다.

data = [1, 2, 3, 4, 5]

# 슬라이싱 (메모리 사용량 ↑)
sliced_data = data[1:4]

# 이터레이션 (메모리 사용량 ↓)
for item in data[1:4]:
    process(item)

3. 압축된 데이터 구조 사용하기

파이썬에서는 압축된 데이터 구조를 사용하여 메모리 사용량을 줄일 수 있습니다. 예를 들어 array.array를 사용하여 동일한 데이터 타입의 배열을 저장할 수 있습니다. 이는 리스트보다 메모리 사용량이 적으며, 대용량 숫자 데이터를 다루는 경우 특히 효과적입니다.

import array

# 리스트 사용 (메모리 사용량 ↑)
data = [1.2, 2.5, 3.6, 4.9, 5.1]
    
# array 사용 (메모리 사용량 ↓)
data = array.array('f', [1.2, 2.5, 3.6, 4.9, 5.1])

4. 컴파일된 코드 사용하기

파이썬은 인터프리터 언어이기 때문에 실행 속도가 상대적으로 느릴 수 있습니다. 컴파일된 언어로 작성된 코드를 사용하면 실행 속도를 향상시킬 수 있습니다. 예를 들어, 파이썬에서는 C로 작성된 numpy 라이브러리를 사용하면 배열 연산 등을 빠르게 처리할 수 있습니다. 또한 numba와 같은 라이브러리를 사용하여 파이썬 코드를 JIT(Just-In-Time) 컴파일하여 성능을 개선할 수도 있습니다.

import numpy as np

# 리스트 사용 (메모리 사용량 ↑, 실행 속도 ↓)
data = [1, 2, 3, 4, 5]
result = [num * 2 for num in data]

# numpy 사용 (메모리 사용량 ↓, 실행 속도 ↑)
data = np.array([1, 2, 3, 4, 5])
result = data * 2

해시태그

#Python #MemoryOptimization