[스프링] 스프링과 Oozie를 이용한 스케줄링

22 Dec 2023

스프링

스프링은 자바 기반의 애플리케이션을 개발하기 위한 프레임워크로, 웹 애플리케이션뿐만 아니라 배치 프로세스나 스케줄링된 작업 등을 구현하는 데 사용됩니다. 그러나 대규모 분산 시스템에서 스케줄링되는 작업을 관리하기 위해서는 보다 강력한 도구가 필요합니다.

이때 Oozie는 Hadoop 에코시스템의 일부로, 대규모 분산 시스템에서 수행되는 다양한 작업들을 스케줄링하고 관리하기 위한 시스템입니다. Oozie는 하둡을 사용하여 데이터 처리 작업들을 자동으로 조정하고 실행할 수 있도록 도와줍니다.

이 블로그 게시물에서는 스프링과 Oozie를 함께 사용하여 스케줄링된 작업을 구현하는 방법에 대해 살펴봅니다.

<workflow-app xmlns="uri:oozie:workflow:0.6" name="sample-wf">
    <start to="step1"/>
    <action name="step1">
        <java>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <main-class>com.example.SampleJob</main-class>
        </java>
        <ok to="end" />
        <error to="fail" />
    </action>
    <kill name="fail">
        <message>Sample job failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
</workflow-app>

스프링 애플리케이션 통합

스프링 애플리케이션 내에서 Oozie 워크플로우를 실행하기 위해서는 Oozie 클라이언트 API를 활용할 수 있습니다. Oozie 클라이언트 API를 사용하여 워크플로우를 제출하고 실행 상태를 확인하는 등의 작업을 수행할 수 있습니다.

OozieClient oozieClient = new OozieClient("http://oozie-server:11000/oozie");
Properties conf = oozieClient.createConfiguration();
conf.setProperty("nameNode", "hdfs://namenode:8020");
conf.setProperty("jobTracker", "jobtracker:8032");
conf.setProperty("oozie.wf.application.path", "hdfs://namenode:8020/user/oozie/workflow.xml");
String jobId = oozieClient.run(conf);

결론

스프링과 Oozie를 함께 사용하여 스케줄링된 작업을 구현할 수 있습니다. Oozie를 사용하여 데이터 처리 작업들의 스케줄링 및 관리를 수행하고, 스프링을 통해 이러한 작업을 실행하고 관리하는 것이 가능합니다. 이를 통해 비즈니스 로직을 스케줄링하여 안정적으로 처리할 수 있습니다.

목차

Oozie 소개

스프링과 Oozie 통합

스케줄링된 작업 구현

Oozie 워크플로우 정의

스프링 애플리케이션 통합

결론