start-dfs.sh 확인

start-dfs.sh 확인

마스터가 내 노트북이고 슬레이브가 virtualbox인 Hadoop 클러스터를 설정하려고 합니다.가이드. 그래서 내가 그랬어.주인:

gsamaras@gsamaras:/home/hadoopuser/hadoop/sbin$ sudo ./start-dfs.sh
Starting namenodes on [master]
root@master's password: 
master: namenode running as process 2911. Stop it first.
root@master's password: root@slave-1's password: 
master: datanode running as process 3057. Stop it first.
<I gave password again here>

slave-1: starting datanode, logging to /home/hadoopuser/hadoop/logs/hadoop-root-datanode-gsamaras-VirtualBox.out
Starting secondary namenodes [0.0.0.0]
[email protected]'s password: 
0.0.0.0: secondarynamenode running as process 3234. Stop it first.
gsamaras@gsamaras:/home/hadoopuser/hadoop/sbin$ su - hadoopuser
Password: 
-su: /home/hduser/hadoop/sbin: No such file or directory
hadoopuser@gsamaras:~$ jps
15845 Jps

가이드에는 "이 명령의 출력에는 마스터 노드의 NameNode, SecondaryNameNode, DataNode 및 모든 슬레이브 노드의 DataNode가 나열되어야 합니다."라고 명시되어 있지만 여기서는 그렇지 않은 것으로 보입니다(할 수 있다?) 그런 다음 확인했습니다.노예통나무:

cat hadoop-root-datanode-gsamaras-VirtualBox.log
..rver: master/192.168.1.2:54310. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2016-01-24 02:42:14,160 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: master/192.168.1.2:54310

gsamaras@gsamaras-VirtualBox:/home/hadoopuser/hadoop/logs$ ssh master
gsamaras@master's password: 
Welcome to Ubuntu 14.04.3..

마스터 노드의 로그에는 오류가 없는 것 같습니다. 마스터에서 슬레이브로 비밀번호 없는 SSH를 수행할 수 있지만 그 반대의 경우는 불가능합니다. 가이드에서는 그런 내용을 언급하지 않습니다. 어떤 아이디어라도제발?


을 실행하면 stop-dfs.sh다음과 같은 오류 메시지가 나타납니다.

slave-1: no datanode to stop

자, 또 해냈어, 들어왔어주인:

gsamaras@gsamaras:/home/hadoopuser/hadoop/sbin$ sudo ./stop-dfs.sh
Stopping namenodes on [master]
root@master's password: 
master: no namenode to stop
root@master's password: root@slave-1's password: 
master: no datanode to stop   
slave-1: stopping datanode
Stopping secondary namenodes [0.0.0.0]
[email protected]'s password: 
0.0.0.0: stopping secondarynamenode
gsamaras@gsamaras:/home/hadoopuser/hadoop/sbin$ jps
19048 Jps
gsamaras@gsamaras:/home/hadoopuser/hadoop/sbin$ ps axww | grep hadoop
19277 pts/1    S+     0:00 grep --color=auto hadoop
gsamaras@gsamaras:/home/hadoopuser/hadoop/sbin$ jps
19278 Jps

그리고ps axww | grep hadoop노예, ID 2553의 프로세스를 제공합니다.

답변1

상상했던 것처럼 hadoop-data 폴더에 권한을 설정해야 했을 뿐만 아니라 hadoop 폴더 자체에도 권한을 설정해야 했습니다.

sudo chown -R hadoopuser /home/hadoopuser/hadoop/

내 아이디어는 다음에서 비롯됩니다여기.

관련 정보