[java] Apache Storm의 Java API 개발 가이드

16 Nov 2023

java

Apache Storm은 대규모 실시간 데이터 처리를 위한 분산 스트리밍 플랫폼입니다. 이 가이드는 Java를 사용하여 Apache Storm의 Java API를 개발하는 방법에 대해 설명합니다.

환경 설정

Apache Storm을 다운로드하고 설치합니다.
Maven이 설치되어 있지 않은 경우, Maven을 설치합니다.
Apache Storm의 Maven 종속성을 프로젝트에 추가합니다.

<dependency>
    <groupId>org.apache.storm</groupId>
    <artifactId>storm-core</artifactId>
    <version>2.2.0</version>
</dependency>

Topology 개발

Topology는 Storm 클러스터에서 실행되는 작업 플로우를 나타냅니다. 다음은 Topology 개발 단계입니다.

Topology 클래스를 생성합니다.
각 노드의 연결 및 데이터 처리를 정의하는 Spout와 Bolt를 추가합니다.

Bolt 개발

Bolt는 Topology에서 데이터를 처리하는 단위입니다. 다음은 Bolt 개발 단계입니다.

BaseRichBolt를 상속하는 클래스를 생성합니다.
execute() 메서드를 오버라이딩하여 입력 튜플을 처리합니다.

public class MyBolt extends BaseRichBolt {
    @Override
    public void prepare(Map<String, Object> map, TopologyContext topologyContext, OutputCollector outputCollector) {
        // 초기화 작업 수행
    }

    @Override
    public void execute(Tuple tuple, BasicOutputCollector basicOutputCollector) {
        // 입력 튜플 처리
    }

    @Override
    public void declareOutputFields(OutputFieldsDeclarer outputFieldsDeclarer) {
        // 출력 필드 선언
    }
}

Spout 개발

Spout는 데이터 스트림을 생성하는 역할을 합니다. 다음은 Spout 개발 단계입니다.

BaseRichSpout를 상속하는 클래스를 생성합니다.
nextTuple() 메서드를 오버라이딩하여 다음 튜플을 생성합니다.

public class MySpout extends BaseRichSpout {
    @Override
    public void open(Map map, TopologyContext topologyContext, SpoutOutputCollector spoutOutputCollector) {
        // 초기화 작업 수행
    }

    @Override
    public void nextTuple() {
        // 다음 튜플 생성
    }

    @Override
    public void declareOutputFields(OutputFieldsDeclarer outputFieldsDeclarer) {
        // 출력 필드 선언
    }
}

Topology 실행

Topology를 실행하기 위해 Storm 클러스터에 Topology를 제출해야 합니다. 다음은 Topology 실행 단계입니다.

TopologyBuilder를 사용하여 Topology를 구성합니다.
Config 객체를 생성하여 Topology의 구성 옵션을 설정합니다.
StormSubmitter를 사용하여 Topology를 클러스터에 제출합니다.

TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("spout", new MySpout());
builder.setBolt("bolt", new MyBolt()).shuffleGrouping("spout");

Config config = new Config();
StormSubmitter.submitTopology("my-topology", config, builder.createTopology());

결과 확인

Topology가 클러스터에서 실행되면, Apache Storm UI를 통해 Topology의 실행 상태와 결과를 확인할 수 있습니다.

참고 자료

Apache Storm Documentation: https://storm.apache.org/documentation
Apache Storm 예제: https://github.com/apache/storm/tree/master/examples
Storm Starter 예제: https://github.com/apache/storm/blob/master/examples/storm-starter/src/jvm/org/apache/storm/starter

목차