[java] 카프카에서 자바를 사용한 로그 수집 및 분석

16 Nov 2023

java

이번 기술 블로그에서는 아파치 카프카(Kafka)를 사용하여 자바로 로그를 수집하고 분석하는 방법에 대해 알아보겠습니다.

카프카란?

카프카는 대량의 실시간 데이터 스트림을 처리하기 위해 설계된 분산 메시징 시스템입니다. 카프카는 다양한 소스에서 데이터를 수집하고, 여러 목적지로 데이터를 전송하며, 데이터를 신속하고 안정적으로 처리할 수 있도록 도와줍니다.

카프카와 자바 연동

카프카와 자바를 연동하기 위해서는 Kafka clients를 사용해야 합니다. Kafka clients는 아파치 카프카에서 제공하는 공식 클라이언트 라이브러리로, 자바 언어를 통해 카프카와 통신할 수 있도록 도와줍니다.

먼저, Maven 또는 Gradle을 사용하여 Kafka clients를 프로젝트에 추가해야 합니다. 다음은 Maven을 사용하는 경우의 예시입니다.

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.8.0</version>
</dependency>

위의 예시는 Kafka clients의 최신 버전(2.8.0)을 추가하는 방법입니다. 버전은 필요에 따라 변경할 수 있습니다.

로그를 수집하기 위해서는 KafkaProducer 클래스를 사용하여 카프카로 메시지를 전송해야 합니다. 다음은 간단한 예시 코드입니다.

import org.apache.kafka.clients.producer.*;

import java.util.Properties;

public class LogProducer {

    private static final String TOPIC_NAME = "logs";
    private static final String BOOTSTRAP_SERVERS = "localhost:9092";

    public static void main(String[] args) {

        Properties properties = new Properties();
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, BOOTSTRAP_SERVERS);
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        KafkaProducer<String, String> producer = new KafkaProducer<>(properties);

        try {
            // 로그를 수집하고 카프카로 전송하는 코드 작성
            String log = "This is a log message.";
            ProducerRecord<String, String> record = new ProducerRecord<>(TOPIC_NAME, log);
            producer.send(record);
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            producer.close();
        }
    }
}

위의 예시 코드는 KafkaProducer를 사용하여 “logs” 토픽에 로그 메시지를 전송하는 코드입니다. BOOTSTRAP_SERVERS에는 카프카 브로커의 주소를 설정해야 합니다.

로그를 분석하기 위해서는 KafkaConsumer 클래스를 사용하여 카프카에서 메시지를 수신해야 합니다. KafkaConsumer를 사용하는 방법은 KafkaProducer와 유사하며, 다양한 설정을 통해 메시지를 조건에 맞게 필터링하거나 여러 컨슈머 그룹을 지정할 수 있습니다.

마무리

이번 기술 블로그에서는 카프카와 자바를 사용하여 로그를 수집하고 분석하는 방법을 알아보았습니다. Kafka clients를 사용하면 실시간으로 대량의 데이터를 처리할 수 있으며, 자바 언어로 간편하게 카프카와 통신할 수 있습니다. 더 자세한 내용은 아파치 카프카 공식 문서를 참고하시기 바랍니다.