[java] Kafka Streams와 Grafana와의 통합 방법

16 Nov 2023

java

Kafka Streams는 대규모 데이터 스트리밍 처리를 위한 클라이언트 라이브러리입니다. Grafana는 실시간 데이터 대시보드를 구축하기 위한 훌륭한 도구입니다. 이 블로그 포스트에서는 Kafka Streams와 Grafana를 통합하는 방법에 대해 알아보겠습니다.

1. Kafka Streams 설정

먼저, Kafka Streams를 시작하기 위해 필요한 설정을 수행해야 합니다. 아래는 Kafka Streams를 위한 예제 설정 파일입니다.

application_id=example-application
bootstrap_servers=kafka-server:9092
input_topic=input-topic
output_topic=output-topic

위 설정 파일에서 application_id는 Kafka Streams 애플리케이션의 고유 ID를 나타내며, bootstrap_servers는 Kafka 서버의 호스트와 포트를 지정합니다. input_topic은 Kafka에서 데이터를 읽어올 토픽을 지정하고, output_topic은 처리된 결과 데이터를 쓸 토픽을 지정합니다.

2. Kafka Streams 애플리케이션 개발

이제 Kafka Streams 애플리케이션을 구축해야 합니다. 아래는 Kafka Streams 프로세서 API를 사용하여 데이터를 처리하는 예제입니다.

import org.apache.kafka.streams.StreamsBuilder;
import org.apache.kafka.streams.kstream.KStream;

public class ExampleApplication {

    public static void main(String[] args) {

        // Kafka Streams 애플리케이션 빌더 생성
        StreamsBuilder builder = new StreamsBuilder();

        // 입력 토픽으로부터 데이터를 수신하고 처리 로직을 적용
        KStream<String, String> inputStream = builder.stream("input-topic");
        KStream<String, String> outputStream = inputStream.mapValues(value -> value.toUpperCase());

        // 처리된 결과를 출력 토픽에 쓰기
        outputStream.to("output-topic");

        // Kafka Streams 애플리케이션 실행
        KafkaStreams streams = new KafkaStreams(builder.build(), getStreamsConfig());
        streams.start();
    }

    private static Properties getStreamsConfig() {
        Properties props = new Properties();
        props.put(StreamsConfig.APPLICATION_ID_CONFIG, "example-application");
        props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka-server:9092");
        return props;
    }
}

위 코드에서 StreamsBuilder 클래스는 Kafka Streams 애플리케이션을 구성하는 빌더입니다. inputStream은 입력 토픽에서 데이터를 수신하고, outputStream은 입력 데이터를 대문자로 변환하여 출력 토픽에 씁니다.

3. Grafana 설정

이제 Grafana를 구성하여 Kafka Streams 애플리케이션의 결과를 실시간으로 모니터링할 수 있도록 만들어 보겠습니다.

Grafana 대시보드에 접속합니다.
“Create”를 클릭하여 새로운 대시보드를 생성합니다.
“Add Query” 버튼을 클릭하여 쿼리를 추가합니다.
“Data Source”를 Kafka로 선택합니다.
쿼리를 통해 Kafka Streams 애플리케이션의 출력 토픽을 지정합니다.
데이터 표시 방식을 선택하고 대시보드를 저장합니다.

이제 Grafana 대시보드에서 Kafka Streams 애플리케이션의 처리 결과를 실시간으로 모니터링할 수 있습니다.

결론

이번 포스트에서는 Kafka Streams와 Grafana의 통합 방법에 대해 알아보았습니다. Kafka Streams를 사용하여 스트리밍 데이터를 처리하고, Grafana를 통해 처리 결과를 실시간으로 모니터링할 수 있습니다. 이를 통해 대규모 데이터 스트리밍 환경에서 데이터 처리와 모니터링을 효율적으로 수행할 수 있습니다.

1. Kafka Streams 설정

2. Kafka Streams 애플리케이션 개발

3. Grafana 설정

결론

참고 자료