Kafka Streams는 실시간 스트리밍 애플리케이션을 구축하기 위한 라이브러리이다. 이를 사용하여 데이터를 처리하고 분석하면서 스트리밍 데이터를 소비할 수 있다. 이 문서에서는 Kafka Streams에서 스토리지를 어떻게 관리하는지에 대해 알아보고자 한다.
스토리지 타입
Kafka Streams는 두 가지 스토리지 타입을 제공한다: 로컬 스토어(local store)와 외부 스토어(external store)다.
로컬 스토어
로컬 스토어는 Kafka Streams 애플리케이션 내부에 내장된 상태 저장소로, 내부 프로세서 상태를 유지하고 관리한다. 이 스토리지는 특별한 데이터 구조인 KTable과 KStream을 사용하여 상태를 저장한다.
로컬 스토어는 빠르고 효율적인 데이터 조회를 위해 인메모리로 유지되므로, 작은 크기의 데이터 집합을 다룰 때 적합하다.
외부 스토어
외부 스토어는 애플리케이션 외부의 영구적인 스토리지에 상태를 저장한다. 예를 들어, Apache Cassandra, Apache HBase, 또는 Redis와 같은 데이터베이스를 외부 스토어로 사용할 수 있다. 이를 통해 대용량 데이터 세트를 다룰 수 있고, 애플리케이션을 재시작해도 상태가 유지된다.
외부 스토어는 특별한 state store 프로바이더를 사용하여 Kafka Streams 애플리케이션과 통합된다. 프로바이더는 외부 스토어에 데이터를 저장하고 읽기 위한 인터페이스를 제공한다.
스토리지 관리
Kafka Streams는 디폴트로 내부 토픽을 사용하여 상태 저장소를 관리한다. 내부 토픽은 Kafka 클러스터의 토픽과는 별개로 사용되며, 상태 변경 사항을 효율적으로 추적하고 복제할 수 있다. 상태 저장소를 구성할 때는 다음과 같은 옵션을 고려해야 한다.
- 로그 군집화: 상태 변경 사항을 로그로 저장할 수 있도록 로그 군집화를 활성화해야 한다. 이는 데이터 복원 및 재생성을 가능하게 해준다.
- 복제 팩터: 내부 토픽의 복제 팩터를 구성하여 데이터의 안정성과 내고장성을 보장해야 한다.
- 카프카 토픽 구성: 상태 저장소를 위한 카프카 토픽에 대해 구체적인 구성을 수행할 수 있다. 예를 들어, 파티션 수와 리플리카 팩터를 조정하는 것이다.
결론
Kafka Streams는 내부 및 외부 스토리지를 사용하여 상태를 관리할 수 있는 강력한 기능을 제공한다. 개발자는 데이터 크기와 요구 사항을 고려하여 적절한 스토리지 타입을 선택하고, 상태 저장소를 구성할 수 있다. Kafka Streams를 사용하여 데이터 처리 및 분석을 위한 실시간 애플리케이션을 구축해보자.
참고 문서: Kafka Streams과 상태 저장