[python] SQLAlchemy와 데이터베이스 샤딩 기능

04 Dec 2023

python

SQLAlchemy는 파이썬에서 사용할 수 있는 오픈 소스 SQL 툴킷으로, 데이터베이스와의 상호 작용을 용이하게 해줍니다. 이번 글에서는 SQLAlchemy의 중요한 기능 중 하나인 데이터베이스 샤딩(Sharding)에 대해 알아보겠습니다.

샤딩이란?

샤딩은 대량의 데이터를 여러 개의 데이터베이스에 분산하는 기술입니다. 이를 통해 데이터베이스 수평 확장(Horizontal scaling)이 가능해지며, 성능과 처리량을 향상시킬 수 있게 됩니다. 대규모 애플리케이션에서는 단일 데이터베이스에 모든 데이터를 저장하는 것보다 샤딩을 통해 데이터를 분산 저장해야 합니다.

SQLAlchemy에서의 샤딩

SQLAlchemy는 샤딩을 지원하기 위해 ShardedSession 클래스를 제공합니다. 이 클래스는 데이터베이스 연결을 추상화하여 애플리케이션에서 데이터베이스에 대한 쿼리를 간단하게 작성할 수 있도록 도와줍니다.

아래는 SQLAlchemy를 사용하여 데이터베이스 샤딩을 구현하는 예제 코드입니다.

from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
from sqlalchemy.ext.horizontal_shard import ShardedSession


# 샤드 엔진 생성
shard_engines = {
    'shard1': create_engine('postgresql://user:password@shard1_host:port/db_name'),
    'shard2': create_engine('postgresql://user:password@shard2_host:port/db_name')
}

# 샤드 세션 생성
shard_session = ShardedSession(
    shard_chooser=lambda mapper, instance: 'shard1' if instance.id % 2 == 0 else 'shard2',
    shard_owners=shard_engines
)

# 세션 팩토리 생성
session_factory = sessionmaker(class_=shard_session)

# 세션 생성
session = session_factory()

# 예시 모델 클래스
class User(Base):
    __tablename__ = 'users'
    id = Column(Integer, primary_key=True)
    name = Column(String)

# 데이터베이스에 데이터 추가
user1 = User(name='John')
session.add(user1)
session.commit()

# 데이터베이스에서 데이터 조회
users = session.query(User).all()
for user in users:
    print(user.name)

# 세션 종료
session.close()

위의 예제 코드에서는 두 개의 샤드(shard1과 shard2)을 생성하고, ShardedSession을 사용하여 세션을 생성합니다. shard_chooser 함수를 통해 어떤 샤드로 데이터를 저장할지 결정하며, shard_owners 변수는 각 샤드의 연결 정보를 담고 있습니다.

그리고 예시로 사용된 User 클래스는 SQLAlchemy의 ORM(Object-Relational Mapping)을 사용하여 데이터베이스 테이블을 정의합니다. 데이터 추가와 조회는 해당 샤드의 세션을 사용하여 수행됩니다.

마무리

SQLAlchemy를 사용하면 데이터베이스 샤딩을 비교적 간단하게 구현할 수 있습니다. 샤딩을 통해 시스템의 성능을 향상시키고 대규모 데이터 처리에 유용한 기술을 사용해보세요.

샤딩이란?

SQLAlchemy에서의 샤딩

마무리

참고 자료