[java] Kafka Streams를 활용한 IoT 데이터 처리

16 Nov 2023

java

소개

IoT(Internet of Things)는 우리 주변에서 많은 데이터를 생성하는 기술입니다. 이러한 데이터를 효과적으로 처리하고 분석하기 위해서는 적절한 도구와 기술이 필요합니다. Kafka Streams는 대량의 데이터를 실시간으로 처리하기 위한 경량화된 라이브러리입니다. 이 글에서는 Kafka Streams를 활용하여 IoT 데이터를 처리하는 방법에 대해 알아보겠습니다.

Kafka Streams 개요

Kafka Streams는 Apache Kafka 클러스터에서 직접 데이터를 읽고 쓸 수 있는 소비자와 프로듀서 라이브러리입니다. 이 라이브러리를 사용하면 실시간으로 데이터를 변환하고 집계할 수 있습니다. 또한, Kafka Streams는 대규모 데이터 스트림을 처리하기 위한 고가용성 및 확장성을 제공합니다.

IoT 데이터 처리 아키텍처

아래는 Kafka Streams를 사용하여 IoT 데이터를 처리하는 고수준 아키텍처의 예입니다.

아키텍처

센서에서 생성된 데이터는 Kafka 프로듀서를 통해 Kafka 클러스터로 전송됩니다.
Kafka Streams 애플리케이션은 Kafka 클러스터에서 데이터를 읽어와 필요한 변환 및 집계 작업을 수행합니다.
처리된 데이터는 다시 Kafka 클러스터로 전송되어 다른 시스템이나 애플리케이션에서 사용할 수 있도록 합니다.

Kafka Streams 예제

import org.apache.kafka.common.serialization.Serdes;
import org.apache.kafka.streams.KafkaStreams;
import org.apache.kafka.streams.StreamsBuilder;
import org.apache.kafka.streams.StreamsConfig;
import org.apache.kafka.streams.kstream.KStream;

import java.util.Properties;

public class IoTDataProcessor {
    public static void main(String[] args) {
        Properties config = new Properties();
        config.put(StreamsConfig.APPLICATION_ID_CONFIG, "iot-data-processor");
        config.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        config.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass().getName());
        config.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass().getName());

        StreamsBuilder builder = new StreamsBuilder();

        KStream<String, String> inputTopic = builder.stream("iot-data-topic");
        KStream<String, String> processedStream = inputTopic.mapValues(value -> value.toUpperCase());

        processedStream.to("processed-iot-data-topic");

        KafkaStreams streams = new KafkaStreams(builder.build(), config);
        streams.start();
    }
}

위의 예제 코드는 Kafka Streams를 사용하여 IoT 데이터를 읽고, 값을 대문자로 변환하여 새로운 Kafka 토픽에 저장하는 간단한 애플리케이션입니다.

결론

Kafka Streams를 활용하면 실시간으로 대량의 IoT 데이터를 효과적으로 처리하고 분석할 수 있습니다. 이를 통해 실시간으로 발생하는 데이터를 신속하게 분석하고 응용 프로그램에 활용할 수 있습니다. Kafka Streams는 확장성, 고가용성 및 신뢰성을 제공하므로 대규모 IoT 시스템에 적합한 솔루션입니다.

참고 문서: