Pseudo-distributed 2

[!] Pseudo-distributed 모드에서 WordCount 에러

Error 1localhost:9000에 관련된 오류에 대해서 한번 해결해보자. 혹시 위와 같은 화면이 나타났던가? 그렇다면 이것이 어떤 문제인지 한번 알아보고, 해결해보자. Call to localhost/127.0.0.1:9000 failed on connection exception : 9000번 포트에 접속을 실패했다는 소리같다. 어떤 문제일까? 바로 정답은.. 하둡 서버를 Start하지 않아서 생긴 문제이다. # bin/start-all.sh 를 통해서 다시 시작해주고 모든 데몬이 성공적으로 실행되었는지 확인하자. 서버를 시작해줬는데도 혹시 Retrying connect to server 에러가 나타난다면, 그것은 아마도 방화벽 문제일 가능성이 크다. 그렇다면 방화벽 설정에 대해서도 한번 공부해..

Experiences/Hadoop 2012.08.31

2-2. 하둡의 실행

하둡의 실행에 앞서 자세히 다루기로 한 하둡 실행 모드에 대해서 알아보자. 1. Standalone(독립실행) 모드 Standalone 모드는 하둡의 기본 모드이다. 하둡은 사용자의 하드웨어 대한 정보를 가지고 있지 않다. 그래서 하둡은 가장 최소한의 환경 설정을 하게 되는데, 기본 모드에서 세 개의 XML 파일(conf/core-site.xml, conf/mapred-site.xml, conf/hdfs-site.xml)은 아무것도 작성되지 않은 상태로 주어진다. 아무런 환경 설정이 기록되어 있지 않으면, 하둡은 로컬 머신에서만 실행된다.다른 노드들과 통신할 필요가 없기 때문에 standalone 모드에서는 HDFS를 사용하지 않고 다른 데몬들도 실행시키지 않는다. 결론적으로 Standalone 모드의 ..

Experiences/Hadoop 2012.08.31