[java] 자바로 스파크의 분산 파일 시스템과의 연동 개발하기

28 Nov 2023

java

스파크는 많은 양의 데이터를 효율적으로 처리하기 위해 분산 파일 시스템과 연동하는 기능을 제공합니다. 이번에는 자바를 사용하여 스파크의 분산 파일 시스템과 연동하는 방법을 알아보겠습니다.

Hadoop 의존성 추가하기

먼저, 스파크와 Hadoop을 연동하기 위해 Hadoop의 의존성을 추가해야 합니다. 이를 위해 pom.xml 파일에 다음과 같은 의존성을 추가합니다:

<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.12</artifactId>
        <version>3.1.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>3.3.0</version>
    </dependency>
</dependencies>

위의 예시는 스파크의 버전을 3.1.1로, Hadoop의 버전을 3.3.0로 사용한다는 가정입니다. 필요에 따라 버전을 조정해야 할 수도 있습니다.

분산 파일 시스템에서 파일 읽기

이제 자바 코드를 사용하여 분산 파일 시스템에서 파일을 읽는 방법을 알아보겠습니다. 다음은 예시입니다:

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.input.StreamInputFormat;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class SparkHDFSExample {
    public static void main(String[] args) {
        // 스파크 설정 생성
        SparkConf conf = new SparkConf().setAppName("SparkHDFSExample").setMaster("local");

        // 스파크 컨텍스트 생성
        JavaSparkContext sc = new JavaSparkContext(conf);

        // HDFS 파일 경로
        String hdfsFilePath = "hdfs://localhost:9000/input/sample.txt";
        
        // HDFS 파일 읽기
        JavaRDD<String> lines = sc.textFile(hdfsFilePath);

        // 파일 내용 출력
        lines.foreach(line -> System.out.println(line));

        // 스파크 컨텍스트 종료
        sc.stop();
    }
}

위의 코드에서는 먼저 SparkConf 객체를 생성하고, JavaSparkContext를 생성합니다. 그리고 textFile 메서드를 사용하여 분산 파일 시스템에서 파일을 읽습니다. 마지막으로, foreach 메서드를 사용하여 파일 내용을 출력합니다. 이후에는 sc.stop()을 호출하여 스파크 컨텍스트를 종료합니다.

결론

이번 튜토리얼에서는 자바를 사용하여 스파크의 분산 파일 시스템과의 연동 방법을 알아보았습니다. 스파크를 활용하여 대용량의 데이터를 효율적으로 처리할 수 있는데, 이를 위해 분산 파일 시스템과의 연동은 필수적입니다. 자바 개발자라면 이를 활용하여 스파크 애플리케이션을 개발하는데 도움이 되리라 생각합니다.

Hadoop 의존성 추가하기

분산 파일 시스템에서 파일 읽기

결론

참고 자료