[java] Java를 이용한 Apache Storm의 실시간 상태 추적 및 모니터링

16 Nov 2023

java

Apache Storm은 대규모 실시간 데이터 처리를 위한 분산형 컴퓨팅 프레임워크입니다. Storm은 다양한 애플리케이션에서 사용되며, 실시간 상태 추적 및 모니터링 역시 중요한 요소입니다.

이번 블로그 포스트에서는 Java를 사용하여 Apache Storm 클러스터에서 실시간으로 상태를 추적하고 모니터링하는 방법에 대해 알아보겠습니다.

1. Storm의 기본 컴포넌트

Apache Storm은 Topology(토폴로지)라고 불리는 분산 애플리케이션을 구성합니다. Topology는 Spout(소스), Bolt(볼트), Stream(스트림) 등의 기본 컴포넌트로 구성됩니다.

Spout(소스): 데이터 스트림을 생성하고 Topology에 전달합니다.
Bolt(볼트): 데이터를 처리하고 다음 Bolt로 전달합니다.
Stream(스트림): Spout에서 Bolt로 전달되는 데이터 흐름입니다.

2. 실시간 상태 추적을 위한 Metrics 설정

Storm은 Metrics 기능을 제공하여 각 컴포넌트(소스, 볼트)의 실시간 상태를 추적할 수 있습니다. Metrics를 설정하려면 MetricRegistry, TopologyConfig, TopologyBuilder 등의 클래스를 사용해야 합니다.

import org.apache.storm.metric.api.MeanReducer;
import org.apache.storm.metric.api.MetricsConsumerDeclarer;
import org.apache.storm.metric.api.MultiCountMetric;
import org.apache.storm.metric.api.ReducedMetric;
import org.apache.storm.metric.api.IMetricsConsumer;

public class MyMetricsConsumer implements IMetricsConsumer {
    private MultiCountMetric _counter;
    private ReducedMetric _latency;

    @Override
    public void prepare(Map stormConf, Object registrationArgument, TopologyContext context, IErrorReporter errorReporter) {
        _counter = new MultiCountMetric();
        _latency = new ReducedMetric(new MeanReducer());
    }

    @Override
    public void handleDataPoints(TaskInfo taskInfo, Collection<DataPoint> dataPoints) {
        for (DataPoint dataPoint : dataPoints) {
            if (dataPoint.name.equals("some_counter")) {
                _counter.scope(taskInfo.srcComponentId, taskInfo.srcTaskId).incr(dataPoint.value);
            } else if (dataPoint.name.equals("some_latency")) {
                _latency.update(taskInfo.srcComponentId, taskInfo.srcTaskId, dataPoint.value);
            }
        }
    }

    @Override
    public void cleanup() {
        // Clean up the resources
    }
}

MyMetricsConsumer 클래스는 IMetricsConsumer 인터페이스를 구현한 사용자 정의 Metrics Consumer입니다. 이 클래스에서는 prepare, handleDataPoints, cleanup 메서드를 구현해야 합니다.

3. Metrics 설정 적용하기

Metrics Consumer를 설정하려면 Topology에 Metrics Consumer를 등록해야 합니다. TopologyBuilder를 사용하여 Topology를 구성하고, registerMetricsConsumer() 메서드를 호출하여 Metrics Consumer를 등록합니다.

TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("spout", new MySpout(), 1);
builder.setBolt("bolt", new MyBolt(), 1).shuffleGrouping("spout");

Config config = new Config();
config.registerMetricsConsumer(MyMetricsConsumer.class);

StormSubmitter.submitTopology("mytopology", config, builder.createTopology());

위의 예시에서는 사용자 정의 Spout와 Bolt를 설정하고, Metrics Consumer로 MyMetricsConsumer 클래스를 등록하였습니다.

4. 모니터링을 위한 Apache Storm UI

Storm은 내장된 UI를 제공하여 클러스터의 상태를 모니터링할 수 있습니다. Storm UI를 통해 Topology의 상태, 컴포넌트의 메트릭, 에러 로그 등을 확인할 수 있습니다.

Storm UI는 기본적으로 8080 포트에서 실행됩니다. 웹 브라우저를 열어 http://<nimbus_ip>:8080를 입력하면 Storm UI에 접속할 수 있습니다.

결론

Java를 이용하여 Apache Storm에서 실시간 상태 추적 및 모니터링을 수행하는 방법에 대해 알아보았습니다. Storm의 Metrics 기능을 사용하여 각 컴포넌트의 상태를 추적하고, Storm UI를 통해 상태를 모니터링할 수 있습니다.

참고 문서: Apache Storm Documentation