Я пытаюсь настроить мини-кластер Hadoop с VirtualBox:
файл hosts (правильно настроен файл hosts):
hadoop@rui-VirtualBox:/home/rui$ cat /etc/hosts | grep 10.
10.0.13.96 hnode1
10.0.13.97 hnode2
10.0.13.98 hnode3
10.0.13.99 hnode4
IP-адреса настроены правильно (я вручную отредактировал файл /etc /network /interfaces, и, как последнее, вы можете видеть, что я могу использовать ssh на других машинах)
hadoop@rui-VirtualBox:/home/rui$ ifconfig | grep "inet addr"
inet addr:10.0.13.96 Bcast:10.0.13.255 Mask:255.255.255.0
inet addr:127.0.0.1 Mask:255.0.0.0
SSH аутентификация без пароля для всех узлов:
hadoop@rui-VirtualBox:/home/rui$ ssh hnode2
Welcome to Ubuntu 14.04 LTS (GNU/Linux 3.13.0-24-generic x86_64)
* Documentation: https://help.ubuntu.com/
365 packages can be updated.
105 updates are security updates.
Last login: Tue Sep 23 10:52:52 2014 from hnode1
hadoop@rui-VirtualBox:~$ exit
logout
Connection to hnode2 closed.
hadoop@rui-VirtualBox:/home/rui$ ssh hnode3
Welcome to Ubuntu 14.04 LTS (GNU/Linux 3.13.0-24-generic x86_64)
* Documentation: https://help.ubuntu.com/
365 packages can be updated.
105 updates are security updates.
Last login: Tue Sep 23 10:52:59 2014 from hnode1
hadoop@rui-VirtualBox:~$ exit
logout
Connection to hnode3 closed.
hadoop@rui-VirtualBox:/home/rui$ ssh hnode4
Welcome to Ubuntu 14.04 LTS (GNU/Linux 3.13.0-24-generic x86_64)
* Documentation: https://help.ubuntu.com/
365 packages can be updated.
105 updates are security updates.
Last login: Tue Sep 23 10:53:04 2014 from hnode1
hadoop@rui-VirtualBox:~$ exit
logout
Connection to hnode4 closed.
Slaves файл определяется как это:
hadoop@rui-VirtualBox:/usr/local/hadoop/hadoop-2.4.1/etc/hadoop$ cat slaves
localhost
hnode2
hnode3
hnode4
JPS говорит, что ничто не разрушает (или на главном узле и на других узлах)
hadoop@rui-VirtualBox:/home/rui$ cd $HADOOP_PREFIX
hadoop@rui-VirtualBox:/usr/local/hadoop/hadoop-2.4.1$ jps
3283 Jps
hadoop@rui-VirtualBox:/usr/local/hadoop/hadoop-2.4.1$ ssh hnode2
Welcome to Ubuntu 14.04 LTS (GNU/Linux 3.13.0-24-generic x86_64)
* Documentation: https://help.ubuntu.com/
365 packages can be updated.
105 updates are security updates.
Last login: Tue Sep 23 10:53:46 2014 from hnode1
hadoop@rui-VirtualBox:~$ jps
1834 Jps
hadoop@rui-VirtualBox:~$ exit
logout
Connection to hnode2 closed.
Следующим шагом я запускаю кластер:
hadoop@rui-VirtualBox:/home/rui$ $HADOOP_PREFIX/sbin/start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [localhost]
localhost: starting namenode, logging to /usr/local/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-namenode-rui-VirtualBox.out
localhost: starting datanode, logging to /usr/local/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-datanode-rui-VirtualBox.out
hnode2: starting datanode, logging to /usr/local/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-datanode-rui-VirtualBox.out
hnode3: starting datanode, logging to /usr/local/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-datanode-rui-VirtualBox.out
hnode4: starting datanode, logging to /usr/local/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-datanode-rui-VirtualBox.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-secondarynamenode-rui-VirtualBox.out
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop/hadoop-2.4.1/logs/yarn-hadoop-resourcemanager-rui-VirtualBox.out
hnode3: starting nodemanager, logging to /usr/local/hadoop/hadoop-2.4.1/logs/yarn-hadoop-nodemanager-rui-VirtualBox.out
hnode2: starting nodemanager, logging to /usr/local/hadoop/hadoop-2.4.1/logs/yarn-hadoop-nodemanager-rui-VirtualBox.out
hnode4: starting nodemanager, logging to /usr/local/hadoop/hadoop-2.4.1/logs/yarn-hadoop-nodemanager-rui-VirtualBox.out
localhost: starting nodemanager, logging to /usr/local/hadoop/hadoop-2.4.1/logs/yarn-hadoop-nodemanager-rui-VirtualBox.out
и я делаю JPS и Hadoop, кажется, работает как на главном, так и на ведомом узлах
hadoop@rui-VirtualBox:/home/rui$ jps
2958 DataNode
3282 ResourceManager
3140 SecondaryNameNode
3411 NodeManager
2806 NameNode
3722 Jps
hadoop@rui-VirtualBox:/home/rui$ ssh hnode2
Welcome to Ubuntu 14.04 LTS (GNU/Linux 3.13.0-24-generic x86_64)
* Documentation: https://help.ubuntu.com/
365 packages can be updated.
105 updates are security updates.
Last login: Tue Sep 23 11:17:27 2014 from hnode1
hadoop@rui-VirtualBox:~$ jps
2327 Jps
1889 NodeManager
1769 DataNode
hadoop@rui-VirtualBox:~$ exit
logout
Connection to hnode2 closed.
Теперь, когда я говорю своему браузеру перейти на hhttp://hnode1:50070, я вижу, что у меня есть только 1 живой узел
и когда я говорю своему браузеру перейти на hhttp://hnode1:8088/cluster, у меня также появляется один доступный узел.
КСТАТИ hhtp://hnode2:8088 или hhttp://hnode2:50070 не удалось подключиться к странице браузера.
Ну, у меня должно быть 4 узла, у меня только один. Что я делаю не так?
Я создал одну работающую виртуальную машину, а затем клонировал жесткий диск, создал новые виртуальные машины и дал каждому IP-адрес. Однако я не переформатировал hdfs (это проблема?)
Затем на главном узле (hnode1) я отредактировал файл slaves (этого достаточно?)
Что я делаю неправильно?