[java] 자바로 카프카 내 데이터를 암호화하기

16 Nov 2023

java

카프카는 대규모 실시간 데이터 스트리밍 플랫폼으로, 많은 양의 데이터를 안전하게 전송 및 처리할 수 있습니다. 그러나 보안상의 이유로 데이터를 암호화하는 것도 중요합니다. 이 글에서는 자바를 사용하여 카프카 내 데이터를 암호화하는 방법에 대해 알아보겠습니다.

카프카 메시지 암호화 라이브러리 추가하기

먼저, 카프카 메시지를 암호화하기 위해 카프카 메시지 암호화 라이브러리를 추가해야 합니다. 여러 가지 옵션 중에서는 kafka-security-plugin라는 라이브러리가 널리 사용되고 있습니다.

Maven을 사용하는 경우 pom.xml 파일에 다음과 같이 의존성을 추가합니다:

<dependency>
    <groupId>io.confluent.security</groupId>
    <artifactId>kafka-secrets-manager-serde</artifactId>
    <version>${kafka.version}</version>
</dependency>

Gradle을 사용하는 경우 build.gradle 파일에 다음과 같이 의존성을 추가합니다:

compile group: 'io.confluent.security', name: 'kafka-secrets-manager-serde', version: kafkaVersion

암호화된 프로듀서 생성하기

암호화된 메시지를 보내기 위해 카프카 프로듀서를 생성해야 합니다. 아래는 암호화된 프로듀서를 생성하는 예제 코드입니다:

import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class EncryptedProducerExample {

    public static void main(String[] args) {
        Properties properties = new Properties();
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, EncryptedSerializer.class); // 암호화된 시리얼라이저 사용

        Producer<String, String> producer = new KafkaProducer<>(properties);

        // 메시지 전송 코드 작성

        producer.close();
    }
}

위 코드에서 EncryptedSerializer는 암호화된 메시지를 시리얼라이즈하는 데 사용되는 클래스입니다. 이 클래스는 필요한 암호화 알고리즘을 구현하고 있어야 합니다.

암호화된 컨슈머 생성하기

암호화된 메시지를 수신하기 위해 카프카 컨슈머를 생성해야 합니다. 아래는 암호화된 컨슈머를 생성하는 예제 코드입니다:

import org.apache.kafka.clients.consumer.Consumer;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.util.Properties;

public class EncryptedConsumerExample {

    public static void main(String[] args) {
        Properties properties = new Properties();
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        properties.put(ConsumerConfig.GROUP_ID_CONFIG, "my-group");
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, EncryptedDeserializer.class); // 암호화된 디시리얼라이저 사용

        Consumer<String, String> consumer = new KafkaConsumer<>(properties);

        // 메시지 수신 및 처리 코드 작성

        consumer.close();
    }
}

위 코드에서 EncryptedDeserializer는 암호화된 메시지를 디시리얼라이즈하는 데 사용되는 클래스입니다. 이 클래스도 암호화된 메시지를 복호화하여 원래의 형식으로 변환하는 로직을 구현해야 합니다.

결론

이렇게 자바를 사용하여 카프카 내 데이터를 암호화할 수 있습니다. 암호화된 메시지를 보내는 프로듀서와 암호화된 메시지를 수신하는 컨슈머를 생성하는 방법에 대해 알아보았습니다. 이를 통해 보안적으로 중요한 데이터를 암호화하여 카프카의 안전성을 높일 수 있습니다.

더 자세한 내용은 카프카 보안 문서를 참고하시기 바랍니다.