[Kafka] 1. 카프카 훑어보기

Kafka 기초 다지기

출처 : 카프카 핵심 가이드 (O’Reilly)

목차

  1. 카프카 훑어보기
  2. 범용 메시지 큐와 비교하기
  3. 카프카 프로듀서 : 카프카에 메시지 쓰기
  4. 카프카 컨슈머 : 중요 개념
  5. 카프카 컨슈머 : 카프카에서 데이터 읽기
  6. 스키마 레지스트리
  7. 카프카 내부 메커니즘
  8. 신뢰성 있는 데이터 전달
  9. 데이터 파이프라인 구축하기

카프카 훑어보기

1. 메시지 발행과 구독하기

1) 메시지 발행/구독 시스템

2) 개별적인 메시지 큐 시스템


2. 카프카 살펴보기

1) 메시지와 배치

2) 토픽과 파티션

3) 프로듀서와 컨슈머

4) 브로커와 클러스터


3. 카프카를 사용하는 이유

1) 카프카의 장점

2) 데이터 생태계

  1. 데이터를 생성하는 애플리케이션에 맞춰 입력 형식이 정의된다.
  2. 시스템의 데이터를 읽어들인다
  3. 다른 소스에서 받은 데이터를 사용해 변환시킨다.
  4. 어디서든 사용될 수 있도록 최종 데이터를 데이터 기반 구조에 전달한다.