[java] 자바와 아파치 하둡의 분산 클러스터 환경 설정

15 Nov 2023

java

이번 글에서는 자바와 아파치 하둡의 분산 클러스터 환경 설정에 대해 알아보겠습니다.

하둡은 대용량 데이터를 분산 처리하기 위한 오픈 소스 프레임워크이며, 자바로 개발되었습니다. 따라서, 하둡을 사용하기 위해서는 먼저 자바를 설치해야 합니다.

자바 설치하기

오라클(Oracle) 사이트에서 자바 JDK(Java Development Kit)를 다운로드합니다. 다운로드 링크
다운로드한 JDK 설치 파일을 실행하여 자바를 설치합니다.
설치가 완료되면, 환경 변수를 설정해야 합니다. 시스템의 환경 변수에서 “Path”를 선택하고, JDK 설치된 폴더의 경로를 추가합니다.

아파치 하둡 설치하기

아파치(Hadoop) 사이트에서 하둡을 다운로드합니다. 다운로드 링크
다운로드한 하둡 압축 파일을 원하는 디렉토리에 압축 해제합니다.
압축 해제된 폴더로 이동하여 conf 폴더로 들어갑니다.
core-site.xml 파일을 열고 아래와 같이 설정합니다. ```xml

fs.defaultFS hdfs://localhost:9000

5. `hdfs-site.xml` 파일을 열고 아래와 같이 설정합니다.
```xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

하둡을 실행하기 위해 명령 프롬프트에서 다음 명령어를 입력합니다.
```
$ ./bin/start-all.sh
```
웹 브라우저에서 http://localhost:50070으로 접속하여 하둡 클러스터가 정상적으로 동작하는지 확인합니다.

마무리

이제 자바와 아파치 하둡의 분산 클러스터 환경을 설정하는 방법에 대해 알아보았습니다. 이를 통해 대용량 데이터를 효율적으로 처리할 수 있는 환경을 구성할 수 있습니다.

더 자세한 정보는 아파치 하둡 공식 문서를 참고하시기 바랍니다. 공식 문서 링크