2012/09 3

2-4. 하둡의 실행-3

이번 시간에는 Fully Distributed(완전 분산)모드에서 WordCount를 실행해보고 어떻게 작업이 진행되어지는지 웹 기반의 클러스터 UI로 확인해보는 작업을 진행해보자. 저번 시간까지 진행 되었던 부분까지라면 5개의 노드(master, backup, hadoop1, hadoop2, hadoop3)에 각각에 맞는 데몬들이 정상적으로 작동되고 있을 것이다. 먼저 WordCount를 실행하기에 앞서, 클러스터의 상태를 모니터링 할 수 있는 웹 인터페이스에 대해서 소개하고 넘어가겠다. NameNode는 50070 포트를 통해서 일반적인 정보를 제공한다. 이 인터페이스에서 사용자는 filesystem을 살펴보고 클러스터에 속한 각 DataNode의 상태를 확인할 수 있다.또한, 클러스터가 제대로 작동..

Experiences/Hadoop 2012.09.07

2-3. 하둡의 실행-2

Fully distributed(완전분산) 모드에 대해서 알아보자. 3. Fully distributed(완전 분산) 모드 지금버터는 모든 기능이 갖추어진 클러스터를 구성한다. 구성은 다음과 같다. 1. master - 클러스터의 master 노드로서, NameNode와 JobTracker 데몬을 제공한다.2. backup - SNN(Secondary NameNode 데몬)을 제공하는 서버3. hadoop1, hadoop2, hadoop3 - DataNode와 TaskTracker 데몬을 실행하는 slave Master 노드에서 하둡의 환경 설정 파일(3개의 xml)을 아래와 같이 수정하자. - core-site.xml 이 부분은 파일 시스템을 설정해주기 위한 부분이다. - mapred-site.xml ..

Experiences/Hadoop 2012.09.05

Aglie Korea 2012 Conference를 다녀오고..

2012 9월 1일 토요일..아침 7시까지 대치동 포스코빌딩으로 가야했기때문에, 매우 부지런해질수 밖에 없었다. 내가 여기를 왜 가느냐고? Aglie Korea 2012 Conference를 볼려고~ ^.~더욱 더 특별한 것은 운좋게 자원봉사자로서 함께 할 수 있었다라는 사실이었다! 밤새 거의 잠을 잘 수 없었다. 이상하게도 잠이 오지 않더라...몽롱한 상태로 드디어 포스코 빌딩 도착.. 아침 일찍 많은 분들이 정말 늦지 않게 와계셨다.. (놀라웠다.. 이른 시간에..)그리고는 정성스럽게 싸(사?)주신 김밥을 먹고 본격적으로 꾸미기 시작했다~ 9시부터 접수를 받기 때문에 시간이 촉박한 관계로.. 빠르게 일사불란하게 진행되었다...(자원봉사자들끼리 인사를 나누지 못했던 점이 사실 조금은 아쉬웠다~^^) 예..

Small talk 2012.09.03