[java] Apache Avro 직렬화에서의 스키마 호환성 보장 (Java)

28 Nov 2023

java

Apache Avro는 데이터 직렬화 및 원격 프로시저 호출 프레임워크로 널리 사용되는 도구입니다. Avro는 데이터 스키마를 사용하여 데이터를 직렬화하고 직렬화된 데이터를 역직렬화하는 기능을 제공합니다. 이 기능은 다양한 언어에서 사용할 수 있으며, 이 문서에서는 Java를 중심으로 설명하겠습니다.

스키마 호환성은 데이터 직렬화에서 아주 중요한 요소입니다. 새로운 스키마를 적용하면 기존에 생성된 직렬화된 데이터를 읽을 때 문제가 발생할 수 있습니다. Avro는 스키마의 호환성을 지원하기 위해 몇 가지 규칙을 제공합니다.

스키마 호환성 규칙

Avro에서는 다음과 같은 세 가지 스키마 호환성 규칙을 준수해야 합니다.

업그레이드 호환성 (Forward Compatibility): 새로운 스키마가 기존 스키마보다 필드를 추가하거나 선택적 필드로 변경하는 경우 호환성이 유지됩니다. 직렬화된 데이터는 추가된 필드를 무시하고 읽을 수 있습니다.
다운그레이드 호환성 (Backward Compatibility): 새로운 스키마가 기존 스키마의 필드를 삭제하거나 필수 필드를 선택적 필드로 변경하는 경우 호환성이 유지됩니다. 직렬화된 데이터는 누락된 필드에 기본값을 할당하여 읽을 수 있습니다.
호환성 없음 (No Compatibility): 새로운 스키마가 기존 스키마와 호환성이 없는 경우 호환성을 유지할 수 없습니다. 이 경우 직렬화된 데이터를 올바르게 읽을 수 없습니다.

스키마 호환성 검사

Avro에서는 스키마의 호환성을 검사하기 위한 몇 가지 유틸리티 메서드를 제공합니다. Java에서는 SchemaCompatibility 클래스를 사용하여 호환성을 확인할 수 있습니다.

import org.apache.avro.Schema;
import org.apache.avro.SchemaCompatibility;
import org.apache.avro.SchemaCompatibility.SchemaCompatibilityType;

public class AvroSchemaCompatibility {

  public static void main(String[] args) {
    // 이전 스키마
    Schema oldSchema = Schema.parse("{\"type\":\"record\",\"name\":\"Person\",\"fields\":[{\"name\":\"name\",\"type\":\"string\"}]}");
    
    // 새로운 스키마
    Schema newSchema = Schema.parse("{\"type\":\"record\",\"name\":\"Person\",\"fields\":[{\"name\":\"name\",\"type\":\"string\"},{\"name\":\"age\",\"type\":\"int\",\"default\":0}]}");
    
    // 호환성 검사
    SchemaCompatibilityType compatibilityType = SchemaCompatibility.checkReaderWriterCompatibility(oldSchema, newSchema);
    
    if (compatibilityType == SchemaCompatibilityType.COMPATIBLE) {
      System.out.println("스키마가 호환됩니다.");
    } else if (compatibilityType == SchemaCompatibilityType.INCOMPATIBLE) {
      System.out.println("스키마가 호환되지 않습니다.");
    } else if (compatibilityType == SchemaCompatibilityType.DEPRECATED) {
      System.out.println("스키마가 사용되지 않습니다.");
    }
  }

}

위의 예제에서는 이전 스키마와 새로운 스키마를 정의하고, SchemaCompatibility.checkReaderWriterCompatibility() 메서드를 사용하여 호환성을 확인합니다. 호환성 유형에 따라 적절한 메시지가 출력됩니다.

결론

Apache Avro는 스키마 호환성을 통해 데이터 직렬화 시스템의 유연성을 보장합니다. 이러한 호환성 규칙을 준수하면 데이터 스키마를 변경하고 기존 데이터를 정상적으로 읽을 수 있습니다. Avro는 다양한 플랫폼에서 사용되므로 이러한 호환성 규칙을 이해하고 적용하는 것이 중요합니다.

참고 문서: Apache Avro Compatibility