[java] 자바와 아파치 하둡의 맵리듀스 디자인 패턴

15 Nov 2023

java

하둡은 대규모 데이터를 효율적으로 처리하기 위한 분산 컴퓨팅 프레임워크로 널리 사용되고 있습니다. 이러한 하둡을 활용하여 데이터를 처리할 때 자바와 맵리듀스 디자인 패턴을 함께 사용하는 경우가 많습니다.

맵리듀스 디자인 패턴이란?

맵리듀스 디자인 패턴은 맵 단계와 리듀스 단계로 구분된 데이터 처리를 위한 디자인 패턴입니다. 맵 단계는 입력 데이터를 키-값 쌍으로 변환하고, 리듀스 단계는 맵 단계의 결과를 조합하여 최종 결과를 생성합니다. 이러한 맵리듀스 디자인 패턴은 대용량 데이터 처리의 병렬화와 장애 복구 기능을 제공하기 위해 사용됩니다.

자바로 맵리듀스 디자인 패턴 구현하기

자바는 하둡과 호환성이 뛰어나기 때문에 맵리듀스 디자인 패턴을 구현하는 데에 많이 사용됩니다. 아래는 자바를 사용하여 맵리듀스 디자인 패턴을 구현하는 간단한 예제 코드입니다.

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.util.StringTokenizer;

public class WordCount {

    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{

        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

위 코드는 간단한 단어 카운트 예제로, 입력 파일을 읽어 각 단어의 출현 횟수를 계산하는 맵리듀스 작업을 수행합니다.

결론

자바와 아파치 하둡을 함께 사용하여 맵리듀스 디자인 패턴을 구현하면 대규모 데이터 처리를 효율적으로 수행할 수 있습니다. 맵리듀스 디자인 패턴은 데이터 처리 작업을 분산하고 병렬화하여 성능을 향상시킬 수 있으며, 장애 복구 기능을 제공하여 신뢰성을 보장합니다.

참고문헌: