[java] 자바에서 Kafka Streams 클라이언트를 사용한 데이터 스트림 처리

16 Nov 2023

java

Kafka Streams는 Apache Kafka의 클라이언트 라이브러리로서, 실시간 스트림 데이터를 처리하기 위한 기능을 제공합니다. 자바로 개발된 애플리케이션에서 Kafka Streams 클라이언트를 사용하면 데이터 처리 파이프라인을 구축하고 실시간으로 데이터를 처리할 수 있습니다.

Kafka Streams 개요

Kafka Streams는 데이터 스트림을 처리하기 위한 고수준 라이브러리로써, 실시간으로 데이터를 처리하고 변환하며, 집계 및 조인과 같은 작업을 수행할 수 있습니다. Kafka Streams는 완전한 스트리밍 애플리케이션을 작성할 수 있는 강력한 도구입니다.

Kafka Streams의 핵심 개념은 스트림이며, 이는 레코드 시퀀스를 나타냅니다. 스트림은 주제(topic)에서 생성되는 레코드들의 연속적인 흐름으로 볼 수 있습니다. Kafka Streams에서 스트림은 무한하게 지속될 수 있으며, 실시간으로 처리됩니다.

Kafka Streams 클라이언트 사용하기

Kafka Streams 클라이언트를 사용하여 데이터 스트림을 처리하는 방법은 다음과 같습니다.

Maven 또는 Gradle과 같은 의존성 관리 도구를 사용하여 Kafka Streams 라이브러리를 프로젝트에 추가합니다.
Kafka Streams 애플리케이션을 초기화하고 설정합니다.

Properties props = new Properties();
props.put(StreamsConfig.APPLICATION_ID_CONFIG, "my-streams-app");
props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
props.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());
props.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass());

StreamsBuilder builder = new StreamsBuilder();

KStream<String, String> inputStream = builder.stream("input-topic");

// 데이터 처리 로직 추가

KafkaStreams streams = new KafkaStreams(builder.build(), props);
streams.start();

데이터 처리 로직을 구현합니다. Kafka Streams는 데이터를 처리하기 위해 일련의 연산을 사용합니다. 예를 들어, map, filter, aggregate 등의 연산을 사용하여 데이터를 변환하거나 집계할 수 있습니다.

KStream<String, String> outputStream = inputStream
    .mapValues(value -> value.toUpperCase())
    .filter((key, value) -> value.contains("Kafka"))
    .groupByKey()
    .count()
    .toStream();

outputStream.to("output-topic", Produced.with(Serdes.String(), Serdes.Long()));

위의 코드는 입력 스트림의 값을 대문자로 변환하고, “Kafka”를 포함하는 값들로 필터링한 후, 키별로 그룹화하여 카운트한 뒤 결과를 출력 스트림에 저장하는 예제입니다.

애플리케이션을 실행하고 데이터 스트림을 처리합니다. Kafka Streams 애플리케이션은 지정된 주제에서 데이터를 소비하고, 처리한 결과를 다른 주제로 출력합니다.

streams.start();

Kafka Streams 애플리케이션이 시작되면, 입력 주제의 데이터가 소비되며, 처리된 결과는 출력 주제로 전달됩니다.

결론

자바에서 Kafka Streams 클라이언트를 사용하여 데이터 스트림을 처리하는 방법에 대해 알아보았습니다. Kafka Streams는 강력한 기능을 제공하며, 실시간으로 데이터를 처리하고 변환하는 데 유용한 도구입니다. Kafka Streams를 사용하여 스트림 처리 애플리케이션을 작성하면 복잡한 데이터 처리 작업을 간편하게 수행할 수 있습니다.

더 많은 자세한 내용은 Kafka Streams 문서를 참조하시기 바랍니다.