Вопросы с меткой [hadoop]
Hadoop - это программная среда с открытым исходным кодом для распределенного хранения и распределенной обработки очень больших наборов данных на компьютерных кластерах, построенных из стандартного оборудования.
87 вопросов
0
голосов
0ответов
5 показов
Hadoop WebDFS генерирует неправильные ссылки
Так что я размещаю Hadoop HADFs с искрой на вершине на удаленном сервере. В настоящее время hdfs работает правильно. Проблема, с которой я сталкиваюсь, связана с веб-файлами. Когда я пытаюсь ...
0
голосов
1ответ
21 показов
Установите hadoop перед установкой Spark
У меня свежая установка Ubuntu Server на virtualbox. Моя цель - добиться следующего. Установите Hadoop и Spark; Запустите Spark поверх Hadoop, используя его hdf в качестве хранилища; Установите ...
0
голосов
0ответов
8 показов
HDFS "-appendToFile" повреждает последнюю строку файла
В двух словах, вот мой пример кода. file1 = CSV файл с разделителями, скажем, 1000 строк file2 = CSV файл с разделителями, скажем, 3000 строк file3 = CSV файл с разделителями, скажем, 10000 строк ...
0
голосов
0ответов
94 показов
Nodemanager и Resourcemanager не отображаются в jps
Я установил hadoop 2.9.2 и при запуске команды start_all.sh не возникает. Но когда я выполняю команду jps, показываются только 4 демона, а именно Namenode, Datanode, SecondaryNamenode, DataNode, в то ...
0
голосов
1ответ
733 показов
SSH: подключиться к локальному порту хоста 22: соединение отказано в Windows 10
заранее спасибо за ответы! Я пытался создать многоузловой кластер с помощью hadoop, но мои товарищи не могут подключиться к серверу по ssh. У меня есть hadoop работает, и демоны запущены, но когда я ...
0
голосов
1ответ
273 показов
Скопируйте данные с локального диска в hdfs в федерации HDFS
Я пытаюсь настроить федерацию HDFS. Поэтому я настроил $ cat etc/hadoop/hdfs-site.xml на обоих хостах (hadoop-coc-1 и hadoop-coc-2). Проблема в том, что в этой конфигурации я хочу скопировать данные ...
0
голосов
0ответов
151 показов
Как редактировать группу HDFS?
У меня есть отдельный кластер для практических целей. Я попытался добавить пользователя root в группу hdfs, войдя в систему как пользователь HDFS. Команда, которую я использовал: hdfs dfs -chown -R ...
0
голосов
1ответ
953 показов
Ошибка отказа в доступе (publickey) при использовании scp
Я создал 3 экземпляра Linux в облаке Amazon EC2 без ключевой фразы для закрытого ключа. Я сохранил закрытый ключ в файле id_rsa в одном из моих экземпляров (мастер), чтобы позволить ему ssh в ...
0
голосов
0ответов
118 показов
IDE в сравнении с диском SCSI при запуске Cloudera Hadoop VMWare CDH 4.2.0
Я скачал образ Cloudera CDH 4.2.0 Hadoop и попытался запустить его на последнем 64-битном проигрывателе VMWare для Windows 7. Мои жесткие диски - оба SSD. Когда я это сделал, я увидел следующее ...
0
голосов
1ответ
24 показов
Получение java.net.ConnectException: неверная конфигурация вашей конечной точки при запуске команды ./yarn
Я чрезвычайно новичок в Hadoop, почти ничего не знаю об этой концепции. Я только начал класс и попытался установить Hadoop. Я просто следовал инструкциям в заметках И наконец выполнил следующую ...
0
голосов
1ответ
763 показов
Пароль без пароля на Cloudera Hadoop
Я использую CDH4 на EC2. На главном узле я не вижу никаких предварительно собранных ключей, и фактически ssh без пароля от главного к подчиненному узлу (ам) hadoop не работает "из коробки". ...
0
голосов
1ответ
279 показов
Hue не загружается в браузере
У меня установлена Hue на моем локальном компьютере, и браузер очень хорошо загружает его в браузере, когда я даю URL 10.20.30.40:8888 в моем браузере. Когда я делаю то же самое для удаленной машины ...
0
голосов
1ответ
459 показов
Удаляет ли форматирование файловой системы HDFS мои данные?
Я начинаю изучать Hadoop. Если я хочу отформатировать файловую систему HDFS, мне нужно выполнить bin/hadoop namenode -format Значит ли это, что он отформатирует мою файловую систему, потеряв все, что ...
0
голосов
0ответов
565 показов
Не удалось установить разрешения пути: ..\taskTracker\cyg_server в 0700
При выполнении задания в Cygwin в кластере Hadoop разрешение не удалось. $ bin/hadoop jar hadoop-examples-*.jar wordcount inputwords outputwords2 Patch for HADOOP-7682: Instantiating workaround file ...
0
голосов
2ответа
26k показов
Как переместить файлы в hdfs в hadoop с помощью команды unix
У меня есть 2 директории "dft" и "hdfs" в распакованной папке Hadoop. Я пытаюсь скопировать файл (StartUnit.txt) в dft в hdfs. Соответствующая команда и исключение, как показано ниже 313159@PC213710 ...
0
голосов
0ответов
857 показов
Как установить Mahout на Windows 8.1?
Моя цель - создать систему рекомендаций, и, прочитав много статей, я обнаружил, что Mahout - простой, но эффективный путь. У меня уже установлен XAMPP в моей системе. Как я могу установить Mahout? ...
0
голосов
1ответ
1k показов
Отключить символьные ссылки Hadoop в Windows
Я использую Hadoop 2.2.0 в Windows 7. Когда я пытаюсь выполнить свою работу, Hadoop пытается создать символические ссылки во временной папке в моей локальной файловой системе. Это не работает, так ...
0
голосов
0ответов
6 показов
Knowage 6.2.1 работает на Ubuntu 14.04
Я хотел бы настроить свой сервер Knowage (ранее SpagoBI) с Hadoop в качестве источника данных. Это возможно? Может ли кто-нибудь помочь мне в этом? заранее спасибо
0
голосов
1ответ
979 показов
Является ли нормальным поведение для задач «Уменьшить», чтобы дождаться завершения задач «Карта»?
У меня есть задание MapReduce объемом 50 ГБ, которое (в основном) является приложением WordCount, и оно имеет следующий процент заданий Map/Reduce (приведенный в конце вопроса). Кажется, что ...
0
голосов
0ответов
78 показов
Разница между пользователем Root на клиенте SSH и пользователем Root при входе в песочницу HDP
Поэтому я использую Hortonworks Sandbox 2.5 через виртуальную коробку, и вот мой простой запрос. Я могу войти в свою учетную запись, используя программное обеспечение SSH, называемое putty, и ...
0
голосов
1ответ
28 показов
Что означает «потоковое воспроизведение с диска»?
Я беру курс, предлагаемый www.statistics.com Advanced Analytics и Machine Learning с Hadoop, - и читаю материалы курса. Я наткнулся на следующее утверждение (выделение мое): … Поскольку MapReduce ...
0
голосов
0ответов
7 показов
Доступные посылки не отображаются в менеджере Cloudera
Я пытаюсь установить Kafka в мой кластер. У меня есть путь в конфигурации посылок, но он не отображается в списке доступных для загрузки и распространения.
0
голосов
1ответ
6k показов
ОШИБКА: Невозможно получить мастер-адрес от зоопарка; данные znode == ноль
У меня есть две машины two linux одна из которых является master machine(192.168.8.174) а другая - slave1 machine(192.168.8.173) . Я успешно установил и настроил Hadoop 2.6.0 в полностью ...
0
голосов
1ответ
55 показов
Выходные данные Hadoop во время выполнения - какое это число сразу после отметки времени
Когда Hadoop запускается, он выдает сообщения, которые мы все видели много раз. Например: 2015-03-30 10:09:08,750 [main] WARN org.apache.hadoop.conf.Configuration - dfs.data.dir is deprecated. ...
0
голосов
2ответа
58 показов
Получит ли Hadoop пользу только от одного диска?
Если я использую настройку с одним узлом в Hadoop где у него только один диск, я легко смогу использовать его для работы с Hadoop и прочим, но будет ли в этом случае преимущество использования Hadoop ...
0
голосов
1ответ
126 показов
Копировать файлы, указанные в списке, один за другим только после завершения
У меня есть список имен файлов в текстовом файле files.txt которые перечислены один за другим в следующей строке, т.е. file1.txt file2.txt file3.txt file4.txt ... ... ... Я должен выполнить следующую ...
0
голосов
1ответ
2k показов
В Linux отказано в разрешении SSH с использованием ключей
Я новичок в hadoop и пытаюсь настроить кластер hadoop в режиме полного распространения. Мой хозяин - Windows, а мой ведомый компьютер - Linux, работающий на ВМ. Я создал ключи SSH и в Windows, и в ...
0
голосов
1ответ
63 показов
HDOD датоде использовать все доступное пространство
У меня есть жесткий диск емкостью 1 ТБ (931 ГБ), который я выделил для HDFS. Я монтирую его в /hdfs. Вот мой hdfs-site.xml dfs.replication 1 dfs.namenode.name.dir /hdfs dfs.datanode.name.dir /hdfs ...
0
голосов
0ответов
19 показов
Hadoop - менеджер ресурсов не запускается в док-контейнере со стеком
Hadoop resourcemanger не может подключиться к namenode. Я развернул hadoop в Docker-контейнере с использованием Docker Stack. Но когда я запускаю контейнеры с docker-compose, все работает нормально. ...
0
голосов
0ответов
10 показов
Как запустить простые веб-страницы из песочницы Hortonworks?
Я хотел бы запустить простую веб-страницу из песочницы Hortonworks 2.6, работающей на VmWare. Ничего особенного, просто страница прототипа, чтобы проверить некоторые основы. Я нашел этот рецепт, но ...
0
голосов
0ответов
32 показов
start-yarn.sh - Невозможно установить приоритет процесса управления ресурсами 3102
Нужна помощь для решения этой проблемы. Подробности представлены ниже. Я пытаюсь запустить пряжу и получаю ошибку выше. Журнал - 2019-01-25 16: 06: 48,799 ИНФОРМАЦИЯ org.apache.hadoop.ipc.Клиент: ...
-1
голос
1ответ
315 показов
MapReduce и Hadoop: какие проблемы они хорошо решают?
Как я уже понимаю, кажется, что оба имеют схожие функции (за исключением того, что MapReduce является собственностью Google, а Hadoop с открытым исходным кодом). Мне было интересно не "как они ...
-1
голос
1ответ
78 показов
Замазка Загрузка предыдущего экземпляра Несмотря на то, что я загружаю правильный файл .ppk
Я пытаюсь подключиться к облачному терминалу Google Centos, используя внешний IP-адрес и файл .ppk, но замазка получает предыдущий загруженный IP-адрес с терминала AWS centos, и я загрузил правильный ...
-1
голос
1ответ
35 показов
Криптография на эллиптических кривых в Hadoop
Использует ли распределенная файловая система Hadoop криптографию с эллиптической кривой где-либо для защиты своих данных? Если нет, какой метод используется для обеспечения доступа к данным?
-1
голос
2ответа
821 показов
Поддерживает ли Hortonworks Data Platform Ubuntu или нет?
Я новичок в платформе данных Hortonworks. Может кто-нибудь сказать мне, поддерживает ли Ubuntu Hortonworks Data Platform или нет?
-2
голоса
2ответа
120 показов
Не могу скачать hadoop
Я принимаю сумасшедшие таблетки или сейчас невозможно скачать hadoop? Я смотрю на http://www.apache.org/dyn/closer.cgi/hadoop/common/, чтобы найти зеркала для него, и абсолютно ни одно из них не ...
-2
голоса
0ответов
7 показов
Как присоединиться к сообществу HortonWorks?
Кнопка «Регистрация нового пользователя» на странице входа не работает. https://community.hortonworks.com/users/login.html Сообщество, кажется, активно. Я не уверен, смотрю ли я на нужную страницу, ...