[파이썬] Psycopg2에서 Memory consumption 최적화

06 Sep 2023

Psycopg2

소개

Psycopg2는 Python에서 Postgres 데이터베이스에 연결하기 위한 인터페이스입니다. 그러나 대용량 데이터베이스 작업을 수행할 때 메모리 사용량이 증가할 수 있습니다. 이 문제를 해결하기 위해 몇 가지 최적화 기법을 사용하는 방법에 대해 알아보겠습니다.

1. 데이터 페이징

Psycopg2는 기본적으로 한 번에 모든 결과를 메모리에 로드합니다. 하지만 대용량 데이터베이스 작업을 수행할 때는 이를 피해야 합니다. 대신, cursor.fetchmany()를 사용하여 필요한 만큼의 행을 가져올 수 있습니다.

import psycopg2

connection = psycopg2.connect(database="your_database")
cursor = connection.cursor()

cursor.execute("SELECT * FROM your_table")

# 필요한 만큼의 행을 읽어옵니다.
rows = cursor.fetchmany(1000)
while rows:
    # 작업 수행
    process_rows(rows)
    
    # 다음 일꾼 1000명을 호출합니다.
    rows = cursor.fetchmany(1000)

cursor.close()
connection.close()

위의 예제에서 fetchmany() 메서드는 한 번에 1000개의 행을 읽어옵니다. 이를 조정하여 메모리 소비를 제어할 수 있습니다.

2. 커서 사용

커서는 결과 집합을 반복적으로 처리하는 데 유용합니다. 기본적으로 Psycopg2는 커서를 사용하지 않고 모든 결과를 메모리에 저장합니다. 그러나 커서를 사용하면 결과를 이터레이션하면서 메모리 사용을 최소화할 수 있습니다.

import psycopg2

connection = psycopg2.connect(database="your_database")
connection.autocommit = True
cursor = connection.cursor()

cursor.execute("SELECT * FROM your_table")

# 결과를 메모리에 저장하지 않고 커서를 사용하여 순회합니다.
for row in cursor:
    # 작업 수행
    process_row(row)

cursor.close()
connection.close()

위의 예제에서 cursor 객체를 직접 반복하면서 행을 처리할 수 있습니다.

3. 메모리 관리

Psycopg2에서는 결과 집합을 처리하기 위해 메모리를 사용합니다. 대용량 데이터베이스 작업을 수행할 때는 메모리 사용에 대해 주의해야 합니다. 필요하지 않은 변수나 객체를 적절하게 해제하여 메모리 누수를 방지해야 합니다.

import psycopg2

connection = psycopg2.connect(database="your_database")
cursor = connection.cursor()

cursor.execute("SELECT * FROM your_table")

# 필요한 만큼의 행을 읽어옵니다.
rows = cursor.fetchmany(1000)
while rows:
    # 작업 수행
    process_rows(rows)
    
    # 메모리 해제
    del rows
    
    # 다음 일꾼 1000명을 호출합니다.
    rows = cursor.fetchmany(1000)

cursor.close()
connection.close()

위의 예제에서 del rows를 사용하여 필요 없어진 rows 변수를 메모리에서 해제합니다.

결론

Psycopg2를 사용하여 대용량 데이터베이스 작업을 수행할 때 메모리 사용량을 최적화할 수 있습니다. 데이터 페이징, 커서 사용 및 메모리 관리 기술을 사용하여 효율적인 작업 수행할 수 있습니다. 이러한 최적화 기법을 적용하면 메모리 소비를 줄이고 성능을 향상시킬 수 있습니다.