[java] 자바 비동기 IO를 사용한 대용량 파일 처리 방법

04 Dec 2023

java

자바에서는 대용량 파일을 효율적으로 처리하기 위해 비동기 IO를 사용할 수 있습니다. 비동기 IO를 사용하면 IO 작업이 완료될 때까지 블로킹하지 않고 다른 작업을 동시에 수행할 수 있습니다. 이를 통해 파일을 효율적으로 처리하고 시간을 절약할 수 있습니다.

비동기 IO 사용 방법

비동기 IO API : 자바에서는 NIO (New IO) 패키지를 통해 비동기 IO를 제공합니다. AsynchronousFileChannel 클래스를 사용하여 파일에 비동기적으로 접근할 수 있습니다.

import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.channels.AsynchronousFileChannel;
import java.nio.channels.CompletionHandler;
import java.nio.file.Path;
import java.nio.file.StandardOpenOption;

public class AsyncFileReader {

    public static void main(String[] args) throws IOException {
        Path filePath = Path.of("large_file.txt");
        AsynchronousFileChannel fileChannel = AsynchronousFileChannel.open(filePath, StandardOpenOption.READ);

        ByteBuffer buffer = ByteBuffer.allocate(1024);

        fileChannel.read(buffer, 0, buffer, new CompletionHandler<Integer, ByteBuffer>() {
            @Override
            public void completed(Integer result, ByteBuffer attachment) {
                // 비동기 IO가 완료되었을 때 호출되는 콜백 메서드
                // attachment에 읽은 데이터가 저장되어 있음
                // 처리 로직 작성
                // ...

                buffer.clear();

                // 다음 비동기 IO 호출
                fileChannel.read(buffer, position, buffer, this);
            }

            @Override
            public void failed(Throwable exc, ByteBuffer attachment) {
                // 비동기 IO가 실패했을 때 호출되는 콜백 메서드
                // 예외 처리 로직 작성
                // ...
            }
        });

        // 해당 스레드가 종료되지 않도록 대기
        while (true) {
            // ...
        }
    }
}

비동기 IO 콜백 메서드 : CompletionHandler 인터페이스를 구현하여 비동기 IO 작업이 완료되었을 때 호출되는 콜백 메서드를 정의할 수 있습니다. 이 콜백 메서드에서 파일의 데이터를 처리하거나 다음 비동기 IO를 호출할 수 있습니다.
비동기 IO 처리 로직 작성 : 콜백 메서드에서는 비동기 IO 작업이 완료되었을 때 처리해야 할 로직을 작성해야 합니다. 예를 들어, 파일에서 읽은 데이터를 가공하거나 다른 시스템에 전송하는 등의 작업을 수행할 수 있습니다.

참고 자료

Java Documentation: AsynchronousFileChannel
Oracle Blog: Asynchronous File IO in Java
Baeldung: A Guide to the Java NIO Package