Я пытаюсь настроить федерацию HDFS. Поэтому я настроил $ cat etc/hadoop/hdfs-site.xml на обоих хостах (hadoop-coc-1 и hadoop-coc-2).
Проблема в том, что в этой конфигурации я хочу скопировать данные с локального диска в HDFS, но не могу.
Я пробовал команды ниже, и я получаю ошибку:
`` `$ hdfs dfs -copyFromLocal ~/input1 webhdfs://hadoop-coc-1/ Java HotSpot(TM) Предупреждение виртуальной машины клиента: вы загрузили библиотеку /home/xubuntu/Programs/hadoop-2.6.0/lib/native /libhadoop.so, который может отключить защиту стека. ВМ попытается исправить защиту стека. Настоятельно рекомендуется исправить библиотеку с помощью 'execstack -c' или связать ее с '-z noexecstack'. 15/03/02 12:32:47 WARN util.NativeCodeLoader: невозможно загрузить библиотеку native-hadoop для вашей платформы ... с использованием встроенных java-классов, где применимо copyFromLocal: соединение отклонено
$ curl -i -X PUT -T ~/input1 " http://hadoop-coc-1:8080/?op = CREATE " HTTP/1.1 100 Продолжить
HTTP/1.1 405 HTTP-метод PUT не поддерживается этим URL-адресом Дата: понедельник, 02 марта 2015 г. 17:34:35 GMT Прагма: без кэширования Дата: понедельник, 02 марта 2015 г. 17:34:35 GMT Прагма: без кэширования Содержимое Длина: 0 Сервер: Причал (6.1.26)
`` `
Любая помощь для копирования данных с локального диска в HDFS? Правильно ли я настроил систему?
hdfs-site.xml
<configuration>
<property>
<name>dfs.nameservices</name>
<value>ns1,ns2</value>
</property>
<property>
<name>fs.defaultFS.ns1</name>
<value>hdfs://hadoop-coc-1:9000</value>
</property>
<property>
<name>fs.defaultFS.ns2</name>
<value>hdfs://hadoop-coc-2:9000</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1</name>
<value>hadoop-coc-1:6600</value>
</property>
<property>
<name>dfs.namenode.http-address.ns1</name>
<value>hadoop-coc-1:8080</value>
</property>
<property>
<name>dfs.namenode.secondaryhttp-address.ns1</name>
<value>hadoop-coc-1:8080</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns2</name>
<value>hadoop-coc-2:6600</value>
</property>
<property>
<name>dfs.namenode.http-address.ns2</name>
<value>hadoop-coc-2:8080</value>
</property>
<property>
<name>dfs.namenode.secondaryhttp-address.ns2</name>
<value>hadoop-coc-2:8080</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.support.append</name>
<value>true</value>
</property>
</configuration>