Получение java.net.ConnectException: неверная конфигурация вашей конечной точки при запуске команды ./yarn

Question

Я чрезвычайно новичок в Hadoop, почти ничего не знаю об этой концепции.

Я только начал класс и попытался установить Hadoop. Я просто следовал инструкциям в заметках

И наконец выполнил следующую команду

$ ./yarn jar /usr/local/hadoop/hadoop2.9.1/share/hadoop/mapreduce/hadoop-mapreduce-examples2.9.1.jar wordcount /in /out

Выводом было несколько «попыток соединения» с «java.net».ConnectException: ваша конфигурация конечной точки неверна

Почему-то я не могу найти команду 'jps', чтобы проверить, работают ли службы

Что я могу проверить?

Спасибо за помощь!

выход

Answer 1

Прежде всего, моя Java не была полностью установлена; Таким образом, мне пришлось завершить установку

yum list java*devel*
sudo yum install java-1.7.0-openjdk-devel.x86_64

Это позволило мне использовать команду JPS

Затем проверил hdfs-site.xml на наличие свойства dfs.datanode.data.dir.

<property>
   <name>dfs.datanode.data.dir</name>
   <value>file:///data/1/dfs/dn</value>
</property>

Поскольку NameNode отформатирован, у вас нет другого выбора, кроме как форматировать (удалять) содержимое в DataNode. Поэтому перейдите в каталог, указанный в dfs.datanode.data.dir, и выполните удаление в этом каталоге для всех узлов данных.

Как только каталоги данных отформатированы во всех узлах данных, я перезапустил процесс DataNode во всех узлах данных

Затем проверил наличие ошибочных идентификаторов кластера в журналах Datanode.

Скопировано в ID кластера данных буфера обмена, например, CID-8bf63244-0510-4db6-a949-8f74b50f2be9

и выполните следующую команду в каталоге HADOOP_HOME/bin

./hdfs namenode -format -clusterId CID-8bf63244-0510-4db6-a949-8f74b50f2be9

Все работало!