[스프링] Oozie 워크플로우에서의 파라미터화된 작업 관리

22 Dec 2023

스프링

Oozie는 Hadoop 워크플로우를 관리하기 위한 시스템으로, 복잡한 데이터 처리 작업을 조정하고 예약할 수 있게 해줍니다. 스프링을 사용하는 경우, Oozie 워크플로우에서 파라미터화된 작업을 관리하는 것이 중요합니다.

1. Oozie 워크플로우 파라미터화

Oozie 워크플로우에서 파라미터를 사용하는 것은 작업을 유연하게 관리하기 위해 중요합니다. 스프링을 이용하면 다음과 같이 Oozie 워크플로우에 파라미터를 쉽게 전달할 수 있습니다.

<workflow-app name="sample_workflow" xmlns="uri:oozie:workflow:0.5">
    <start to="sample_action"/>
    <action name="sample_action">
        <oozie:spark xmlns:oozie="uri:oozie:spark-action:0.1">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <master>${master}</master>
            <mode>${mode}</mode>
            <arg>input_path</arg>
            <arg>output_path</arg>
        </oozie:spark>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <kill name="fail">
        <message>Sample workflow failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
</workflow-app>

이 예시에서 ${jobTracker}, ${nameNode}, ${master}, ${mode} 등과 같은 변수들을 사용하여 Oozie 액션에 값을 제공합니다.

2. 스프링과 Oozie 통합

스프링 프레임워크를 사용하여 Oozie를 통합할 때, 스프링의 빈(Bean)을 Oozie 컴포넌트로 사용할 수 있습니다. 또한, 프로퍼티 파일이나 외부 속성 파일을 사용하여 Oozie 워크플로우에서 파라미터를 관리할 수 있습니다.

public class OozieWorkflowConfiguration {
    
    @Value("${jobTracker}")
    private String jobTracker;
    
    @Value("${nameNode}")
    private String nameNode;
    
    // ... 
}

결론

스프링을 사용하면 Oozie 워크플로우에서 파라미터화된 작업을 더욱 유연하게 관리할 수 있습니다. 이를 통해 데이터 처리 작업을 보다 효율적으로 조정하고 수행할 수 있습니다.

참고문헌: