[java] 자바로 스파크의 스파크 SQL 사용하기

28 Nov 2023

java

이번 포스트에서는 자바 언어를 사용하여 스파크의 스파크 SQL을 사용하는 방법에 대해 알아보겠습니다. 스파크 SQL은 스파크에서 관계형 데이터에 대한 처리를 수행하는 역할을 합니다. 자바를 통해 스파크 SQL을 사용하면 SQL 쿼리를 실행하고 결과를 처리하는 등의 작업을 손쉽게 수행할 수 있습니다.

스파크 SQL 라이브러리 추가하기

먼저, 스파크 SQL을 사용하기 위해 필요한 라이브러리를 프로젝트에 추가해야 합니다. Maven을 사용한다면, pom.xml 파일에 다음 종속성을 추가하면 됩니다.

<dependencies>
    <!-- 스파크 SQL -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.x</artifactId>
        <version>2.x.x</version>
    </dependency>
</dependencies>

위에서 2.x.x 부분은 사용하고자 하는 스파크의 버전에 맞게 변경해주어야 합니다.

스파크 SQL 사용하기

스파크 SQL을 사용하기 위해서는 SparkSession 객체를 생성해야 합니다. 다음은 자바 코드에서 스파크 SQL을 사용하는 예제입니다.

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

public class SparkSQLExample {
    public static void main(String[] args) {
        // 스파크 세션 생성
        SparkSession spark = SparkSession.builder()
                .appName("SparkSQLExample")
                .config("spark.master", "local")
                .getOrCreate();
        
        // 데이터프레임 생성
        Dataset<Row> dataframe = spark.read().json("path/to/json/file");

        // 스파크 SQL 쿼리 실행
        Dataset<Row> result = dataframe.select("name", "age").filter("age > 18");

        // 결과 출력
        result.show();
        
        // 스파크 세션 종료
        spark.stop();
    }
}

위의 코드에서는 먼저 SparkSession을 생성하고, .appName() 메소드를 통해 애플리케이션의 이름을 지정하고, .config() 메소드를 통해 스파크의 설정을 지정합니다. .getOrCreate() 메소드를 호출하여 실제 스파크 세션을 생성합니다.

그리고 spark.read().json() 메소드를 통해 데이터프레임을 생성하고, 생성된 데이터프레임에 대해 스파크 SQL 쿼리를 실행합니다. 여기서는 select() 메소드를 사용하여 name과 age 컬럼을 선택하고, filter() 메소드를 사용하여 age가 18보다 큰 데이터를 필터링합니다.

마지막으로 result.show() 메소드를 호출하여 결과를 출력하고, spark.stop() 메소드를 호출하여 스파크 세션을 종료합니다.

이제 자바를 사용하여 스파크 SQL을 실행하는 방법을 알게 되었습니다. 스파크 SQL은 강력한 기능을 가지고 있으므로 데이터 처리 작업을 보다 효율적으로 수행할 수 있습니다.

스파크 SQL 라이브러리 추가하기

스파크 SQL 사용하기

참고 자료