1-4. 하둡을 위한 개발환경 설정하기

1. Hadoop 설치하기

이제 직접 한 대의 컴퓨터를 사용해서 하둡을 실행해보려고 한다.

개발 환경은 다음과 같다.

1. OS : CentOS 5.8 (Linux)

2. JDK : 1.6.0

3. Hadoop : 1.0.3

책을 참고하고, 따라 했을 경우에 많이 헷갈리고, 막혔던 부분들이 있었다.

그 부분에 대해서 정확히 짚고 넘어가보자.

먼저 하둡을 실행하기 위해서는 1.6이상의 자바가 설치되어 있어야 한다.

당연한 이야기이지만, 정말 Java와 그 컴파일러인 javac의 버전을 반드시 확인하고 가야한다.

그리고 하둡의 버전의 경우 2버전까지 릴리즈 되어있지만, 안정화되어 있는 것은 1.x 버전이므로 1.0.3으로 실행해보기를 추천한다.

리눅스 환경이 구축되어있다는 가정하에 시작하겠다.

하둡의 1.0.3 버전을 다운 받아야 하는데, 공식 홈페이지(http://hadoop.apache.org/) 사이트에서 받으면 굉장히 속도가 느리다. 오른쪽 링크에서 다운을 받자. http://ftp.daum.net/apache//hadoop/common/

다운 받은 후 아래 명령어로 압축을 풀어준다.

# gunzip -d hadoop-1.0.3.tar.gz

# tar -xvf hadoop-1.0.3.tar

위의 폴더를 /usr/local/아래에 넣어두면 편리하다. (어디다가 두어도 상관이 없을 수도 있다.)

그리고 나서 hadoop을 어느 디렉토리에서든지 실행할 수 있도록 환경 설정을 해주는 것이 편리하다.

계정의 환경 파일인 ~/.bashrc를 이용해서 편집하자.

# vi ~/.bashrc 

(~표시는 사용자 계정의 home폴더를 의미한다. 홈에 있는 .bashrc를 vi편집기로 실행한다는 의미)

창이 띄어지면 alias 아래 쪽에다가 

export HADOOP_HOME=/home/hadoop/hadoop-1.0.3

export PATH=$PATH:$HADOOP_HOME/bin:$PATH

위와 같이 넣어주면 된다.  그리고 아래 내용을 그 밑에 넣어준다. (하둡 설정파일에 넣어도 무관하다.)

HADOOP_HOME_WARN_SUPPRESS=TRUE

export HADOOP_HOME_WARN_SUPPRESS

이것을 넣어주는 이유는 1.x 릴리즈 버전 부터 Warning: $HADOOP_HOME is deprecated. 경고문이 출력되기 때문에 그것을 없애주기 위함이다.

# source ~/.bashrc (환경 파일을 재설정 해준다.)

위의 화면이 나타난다면 성공한 것이다.

여기까지 설정했다면, 이제 JDK를 설치해보자.

먼저, 자바 1.6 버전을 다운 받는다. (Linux x86(32bit) x64(64bit) .bin 파일로 받는다.

다운받은 폴더로 이동한 후

# ./jdk-6u34-linux-i586.bin              

그러면 unpacking이 뜨면서 많은 파일들이 압축이 풀린다.

Done. 이라는 메세지와 함께 끝이 나면

# ln -s jdk1.6.0_34/ java              (jdk1.6.0_34 폴더 이름이 너무 길기때문에 java라는 이름으로 심볼릭링크를 해주었다.)

이제 시스템 환경 변수인 (/etc/profile)을 변경해주어야 한다.

# vi /etc/profile

화면에 맨 위 부분에 따로 넣어준다.

# Java Setting

export JAVA_HOME=/usr/local/java

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH="."

# source /etc/profile

# java -version

그리고 중요한 javac 버전을 확인하는 것도 중요하다.

# javac -version

위와 같이 뜬다면 성공이다!

위의 화면과 다르거나...(1.5 버전보다 작은 버전..), 안될 수가 있는데.. 

그럴때는 조금 번거로운 작업이지만 alternatives 라는 명령어를 사용해서 지정해줘야한다.

# alternatives --install /usr/bin/java java /usr/local/java/bin/java 2

# alternatives --config java

2번을 선택해주면 된다.

javac도 마찬가지이다.

# alternatives --install /usr/bin/javac javac /usr/local/java/jre/lib/ext 2

# alternatives --config javac

똑같이 2번을 선택해준다.

이렇게 기본이면서, 그리고 가장 중요한 하둡 설치와 JDK 설정에 대해서 다루어보았다.

다음에는 이제 직접 실행해서 결과를 내는 실습을 해보자.