[java] Java에서 Apache Avro 사용 방법

28 Nov 2023

java

Apache Avro는 데이터 직렬화 시스템으로, 데이터를 저장하고 통신하기 위한 효율적이고 간편한 방법을 제공합니다. 이 글에서는 Java에서 Apache Avro를 사용하는 방법에 대해 알아보겠습니다.

1. Apache Avro 설치

Java에서 Apache Avro를 사용하려면 먼저 Avro 라이브러리를 설치해야 합니다. Maven을 사용하는 경우 프로젝트의 pom.xml 파일에 다음 의존성을 추가하면 됩니다:

<dependencies>
    <dependency>
        <groupId>org.apache.avro</groupId>
        <artifactId>avro</artifactId>
        <version>1.10.2</version>
    </dependency>
</dependencies>

Gradle을 사용한다면 build.gradle 파일에 다음과 같이 추가합니다:

dependencies {
    implementation 'org.apache.avro:avro:1.10.2'
}

2. Avro 스키마 작성

Avro는 스키마를 사용하여 데이터 형식을 정의합니다. 스키마는 JSON으로 작성되며, .avsc 확장자를 가지는 파일에 저장됩니다. 예를 들어, user.avsc 파일에 다음과 같은 스키마를 작성해봅시다:

{
    "type": "record",
    "name": "User",
    "fields": [
        {"name": "username", "type": "string"},
        {"name": "age", "type": "int"},
        {"name": "email", "type": "string"}
    ]
}

3. 데이터 직렬화 및 역직렬화

Java에서 Avro를 사용하여 데이터를 직렬화하고 역직렬화하기 위해서는 다음 단계를 따릅니다:

데이터 직렬화

import org.apache.avro.Schema;
import org.apache.avro.file.DataFileWriter;
import org.apache.avro.generic.GenericData;
import org.apache.avro.generic.GenericRecord;
import org.apache.avro.io.DatumWriter;
import org.apache.avro.io.EncoderFactory;

import java.io.File;
import java.io.IOException;

public class AvroExample {
    public static void main(String[] args) throws IOException {
        // 스키마 로드
        Schema schema = new Schema.Parser().parse(new File("user.avsc"));

        // 데이터 생성
        GenericRecord user = new GenericData.Record(schema);
        user.put("username", "JohnDoe");
        user.put("age", 30);
        user.put("email", "johndoe@example.com");

        // 파일 작성
        DatumWriter<GenericRecord> datumWriter = new GenericDatumWriter<>(schema);
        DataFileWriter<GenericRecord> dataFileWriter = new DataFileWriter<>(datumWriter);
        dataFileWriter.create(schema, new File("user.avro"));
        dataFileWriter.append(user);
        dataFileWriter.close();
    }
}

데이터 역직렬화

import org.apache.avro.file.DataFileReader;
import org.apache.avro.file.FileReader;
import org.apache.avro.generic.GenericDatumReader;
import org.apache.avro.generic.GenericRecord;
import org.apache.avro.io.DatumReader;

import java.io.File;
import java.io.IOException;

public class AvroExample {
    public static void main(String[] args) throws IOException {
        // 스키마 로드
        Schema schema = new Schema.Parser().parse(new File("user.avsc"));

        // 파일 읽기
        DatumReader<GenericRecord> datumReader = new GenericDatumReader<>(schema);
        FileReader<GenericRecord> fileReader = DataFileReader.openReader(new File("user.avro"), datumReader);

        while (fileReader.hasNext()) {
            GenericRecord user = fileReader.next();
            System.out.println(user.get("username"));
            System.out.println(user.get("age"));
            System.out.println(user.get("email"));
        }

        fileReader.close();
    }
}

결론

Java에서 Apache Avro를 사용하여 데이터를 직렬화하고 역직렬화하는 방법을 알아보았습니다. Avro는 데이터를 효율적으로 저장하고 통신하는 데 많은 도움이 되는 강력한 도구입니다. 추가 자세한 내용은 공식 문서를 참조하시기 바랍니다.

이제 구체적인 예제 코드를 통해 실제로 Java에서 Apache Avro를 사용해보세요.