[java] 카프카와 자바를 이용한 ID 및 메시지 추적 기능 구현

16 Nov 2023

java

이 문서에서는 카프카와 자바를 사용하여 ID와 메시지를 추적하는 기능을 구현하는 방법에 대해 알아보겠습니다. 이를 통해 메시지 도착 및 처리를 추적하고, 디버깅 및 성능 향상에 도움을 줄 수 있습니다.

카프카란?

카프카는 대용량의 실시간 데이터 스트리밍 플랫폼으로, 여러 애플리케이션 간에 데이터를 신뢰성 있게 전송하고 처리할 수 있도록 지원합니다. 카프카는 분산 아키텍처로 구성되어 있어 고가용성, 확장성 및 내결함성을 제공합니다.

ID와 메시지 추적 구현 과정

카프카 연결 설정하기
- 카프카 클러스터로 연결하기 위해 프로듀서 및 컨슈머를 설정합니다.
- bootstrap.servers 속성을 설정하여 카프카 브로커의 주소를 지정합니다.
- SSL/TLS를 사용해야 한다면, security.protocol 및 ssl.* 속성도 설정해야 합니다.
메시지를 전송하는 프로듀서 구현하기
- 메시지를 전송하는 프로듀서를 구현합니다.
- 메시지를 전송하기 전에 고유한 ID를 생성하여 메시지와 함께 전송합니다.
- 메시지 전송 후에는 해당 ID와 메시지를 로그 또는 DB에 기록합니다.

// 카프카 프로듀서 설정
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
KafkaProducer<String, String> producer = new KafkaProducer<>(props);

// 메시지 전송
String id = generateUniqueId();
String message = "Hello, Kafka!";
ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", id, message);
producer.send(record);

// ID와 메시지 기록
log.info("Message sent with ID: " + id + ", Message: " + message);

메시지를 수신하는 컨슈머 구현하기
- 메시지를 수신하는 컨슈머를 구현합니다.
- 컨슈머는 메시지를 수신한 후에 해당 ID와 메시지를 로그 또는 DB에 기록합니다.

// 카프카 컨슈머 설정
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("group.id", "my-consumer-group");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

// 메시지 수신
consumer.subscribe(Collections.singletonList("my-topic"));
while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        String id = record.key();
        String message = record.value();

        // ID와 메시지 기록
        log.info("Message received with ID: " + id + ", Message: " + message);
    }
}

결론

이렇게 구현된 ID 및 메시지 추적 기능을 사용하면 카프카를 통해 전송되는 메시지의 도착과 처리를 추적할 수 있습니다. 이를 통해 어떤 메시지가 어떤 ID로 전송되었는지 알 수 있으며, 디버깅 및 성능 향상에 도움이 됩니다.

더 자세한 내용은 아파치 카프카(https://kafka.apache.org/) 공식 문서를 참조하시기 바랍니다.