Вопросы с меткой [hadoop]
Hadoop - это программная среда с открытым исходным кодом для распределенного хранения и распределенной обработки очень больших наборов данных на компьютерных кластерах, построенных из стандартного оборудования.
87 вопросов
15
голосов
2ответа
19k показов
7Zip Невозможно создать символическую ссылку, доступ запрещен для libhdfs.so и libhadoop.so
Я работаю на Windows 10 и пытаюсь установить Hadoop Я скачал это отсюда. При попытке извлечь Hadoop для файлов (libhdfs.so и libhadoop.so) я получаю сообщение об ошибке. Cannot create symbolic link : ...
4
голоса
0ответов
2k показов
Hadoop - java.io.IOException: сброс соединения по пиру при создании при создании нового каталога
Я установил hadoop 2.4.0 как единый узел для целей обучения, но после того, как я запустил hadoop и создал каталог с помощью команды: hadoop fs -mkdir /tmp Я получаю следующую ошибку: ls: Failed on ...
3
голоса
1ответ
4k показов
Ошибка при запуске CYGWin SSH-демона в Windows 7 Home Edition
Я использую Windows 7 Home edition, пытаюсь установить CYGWin SSH daemon . Успешно сделано то же самое, но когда я запускаю то же самое, я вижу ошибку в файле C:\cygwin\var\log\sshd.log Privilege ...
3
голоса
4ответа
613 показов
Почему Hadoop не является хранилищем данных?
Каковы функциональные причины, по которым Hadoop не может быть хранилищем данных На нескольких сайтах можно увидеть заявления о том, что кластер Hadoop не является заменой традиционного хранилища ...
3
голоса
2ответа
2k показов
Установка имени хоста как IP в Linux для виртуальной машины Hadoop
Как можно настроить виртуальную машину сервера Ubuntu на значение /etc/hostname/ равным значению для назначенного IP-адреса виртуальной машины при запуске? Я создаю образ виртуальной машины сервера ...
2
голоса
0ответов
348 показов
В чем разница между безголовыми, служебными и пользовательскими клавишами Kerberos
Я часто работаю с кластерами Kerberised Hadoop, и мне приходится использовать различные наборы клавиш, такие как: hbase.headless.keytab hbase.service.keytab devuser.keytab Мне не совсем ясно, какова ...
2
голоса
1ответ
2k показов
JAVA_HOME установлен неправильно
Я пытаюсь настроить hadoop в cygwin. Я установил JAVA_HOME как /cygdrive/c/work/java/jdk1.6.0_30 Если я отображаю $JAVA_HOME , он отображается правильно. Если я запускаю команду bin/hadoop version ...
2
голоса
1ответ
2k показов
Как я могу получить доступ к веб-интерфейсу ganglia с помощью ssh-туннелирования для наблюдения за моей работой EMR?
Я использовал стандартные инструменты мониторинга Hadoop с: ssh -L 9100:localhost:9100 -L 9101:localhost:9101 -o ServerAliveInterval=10 -o StrictHostKeyChecking=no -i key.pem ...
2
голоса
0ответов
281 показов
Можете ли вы подключить два GNOME-бокса через ssh?
Я пытаюсь настроить кластер Hadoop с двумя узлами, используя два ноутбука с GNOME-боксами, оба работают под управлением Ubuntu 17.10. Оба ноутбука подключены к одному и тому же Wi-Fi, но только ...
2
голоса
2ответа
4k показов
Откройте eclipse с пользователем Linux, у которого нет графического окружения (созданного из консоли)
Я создал пользователя из консоли в моем Ubuntu Destkop 14.04 LTS, выполнив это: sudo addgroup hadoop sudo adduser --ingroup hadoop hduser Я использовал этого пользователя для всякого рода вещей, ...
2
голоса
2ответа
1k показов
Невозможно отправить файлы через SCP
Я попытался с помощью команды scp с параметром -i перенести файл с локального компьютера на удаленный экземпляр EC2: Akhis-Macbook-Pro:~ aswinakhilesh$ sudo scp -i Mykey.pem FileA ...
2
голоса
2ответа
13k показов
Подчиненный: ssh: подключиться к подчиненному порту хоста 22: Время ожидания истекло
я сделал с одним узлом кластера на двух разных машинах, я сделал один в качестве мастера (192.168.1.1) и другие м / с в качестве ведомого (192.168.1.2), я успешно могу пинг между двумя машинами, я ...
1
голос
2ответа
1k показов
Невозможно использовать SSH, невозможно создать /dev/null/.ssh
Я пытаюсь развернуть hadoop с главным и подчиненным узлами. Но ведущему не удается запустить процессы tasttracker и datanode в подчиненных, так как он не может подключиться к подчиненным ssh. ...
1
голос
5ответов
1k показов
Mac OS X 10.9 Mavericks взламывает SSH без пароля для localhost (для hadoop)
Извините, если это звучит как повторение, но я уверен, что это определенно связано с Mac OS X 10.9, оно отлично работает на моем компьютере с 10.8. Я сделал все одинаково, как обычно: $:~ ssh-keygen ...
1
голос
1ответ
1k показов
Тайм-аут соединения Sqoop JDBC после импорта, но до импорта куста
Мы используем Sqoop v1.4.4 14/05/27 13:49:14 INFO sqoop.Sqoop: Running Sqoop version: 1.4.4-cdh5.0.0 Sqoop 1.4.4-cdh5.0.0 git commit id 8e266e052e423af592871e2dfe09d54c03f6a0e8 Когда я импортирую ...
1
голос
1ответ
6k показов
Отключите RAID-контроллер при загрузке и разделите каждый диск
У меня есть несколько приличных серверов HP Proliants, которые поставляются с включенным "Контроллер HP Smart Array P410i", я использую эти блоки для настройки кластера Hadoop, и я знаю, что RAID, ...
1
голос
1ответ
1k показов
Запуск Hadoop в Windows 8
Запускать Hadoop Framework в Windows всегда сложно, используя Cygwin. Похож ли процесс для Windows 8 так же, как Windows 7, как упомянуто здесь, или он отличается? ...
1
голос
0ответов
345 показов
добавление узлов в виртуальный ящик кластера hadoop
Я пытаюсь настроить мини-кластер Hadoop с VirtualBox: файл hosts (правильно настроен файл hosts): hadoop@rui-VirtualBox:/home/rui$ cat /etc/hosts | grep 10. 10.0.13.96 hnode1 10.0.13.97 hnode2 ...
1
голос
0ответов
17 показов
Apache Spark 2.4 не работает с менеджером кластеров пряжи?
Я установил Hadoop версии 2.8.3 в моей среде Windows 10, и она работает нормально. Теперь, когда я пытаюсь установить Apache Spark(версия 2.4.0) с кластером пряжи, он не работает. Когда я пытаюсь ...
1
голос
1ответ
55 показов
YARN 3 и Spark: выделите графический процессор
Я не могу найти рабочую опцию Spark, требующую исполнителей с графическим процессором. Я пытаюсь настроить кластер HADOOP для запуска алгоритмов машинного обучения на доступных графических ...
1
голос
1ответ
415 показов
Удаление Hadoop: удалить пакеты linux-image?
Я удалил hadoop со своей машины через apt-get remove --purge hadoop В выводе я вижу, что следующие пакеты не были удалены: The following packages were automatically installed and are no longer ...
1
голос
0ответов
27 показов
Просмотреть все ТЕКУЩИЕ параметры для установки hadoop?
Я унаследовал установку Hadoop, и я хотел бы запросить все параметры использования и параметры конфигурации. Я просеиваю каталог conf и он помогает, но это старая установка (1.1.1), и я хочу указать, ...
1
голос
0ответов
25 показов
Как скопировать файлы из Windows в Linux HDFS напрямую
Я пытаюсь скопировать большое количество файлов в Hadoop HIVE. Прямо сейчас я делаю это с помощью двухшаговых скриптов. Шаг 1: Сценарии Powershell, копирующие файлы из Windows в Linux с помощью ...
1
голос
0ответов
237 показов
Лучшие практики для передачи данных между кластерами Hadoop
Ситуация: мне нужно перенести около 100 ТБ из старого кластера Hadoop в новый кластер Hadoop. Два кластера имеют прямое соединение 1GbE от namenode на каждом кластере. Датододы не связаны. Что я ...
1
голос
2ответа
329 показов
Как начать после установки OpenStack
Я установил OpenStack следуя инструкциям, приведенным здесь. Я хочу знать, как я могу развернуть простое PHP-приложение, используя Apache Hadoop в OpenStack? Любая ссылка?
1
голос
0ответов
679 показов
Как определить, какой диск (том) выходит из строя?
Я использую стандартный Apache Hadoop 1.1.1, и я не могу запустить datanode из-за: 2015-04-23 09:12:48,138 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from ...
1
голос
0ответов
222 показов
Ошибка высокой доступности кластера HADOP не удалось найти или загрузить основной класс
[hduser@mn1 bin]$ ./hdfs zkfc -formatZK Error: Could not find or load main class ”-Djava.library.path=”.home.hduser.2.3.0″.lib” Я делал каждый шаг, как в этом уроке, ДВАЖДЫ. Ошибка все та же, и я не ...
1
голос
1ответ
932 показов
Проверьте статус Oozie в UNIX
Утилита Hadoop Admin Создана базовая утилита администрирования hadoop, которая проверяет состояние dfs и состояние oozie. Проверка статуса В моей вышеупомянутой утилите я использую следующую команду: ...
1
голос
1ответ
1k показов
Как удалить большое количество файлов / папок в Linux
Мы используем hadoop, чтобы разбить таблицу на более мелкие файлы для передачи в mahout, но в процессе мы создали огромное количество _временных журналов. У нас есть монтирование NFS для тома hadoop, ...
1
голос
1ответ
941 показов
Измените LD_LIBRARY_PATH и CLASSPATH на узле кластера перед запуском задания hadoop
Мне нужно установить LD_LIBRARY_PATH и CLASSPATH перед запуском задания кластера. В LD_LIBRARY_PATH мне нужно добавить местоположение некоторых jar-файлов, которые требуются при выполнении задания, ...
1
голос
2ответа
2k показов
хочет удалить cdh4(hadoop) из Ubuntu 12.04
я установил псевдо режим cdh3 в моей системе Ubuntu 12.04(точная), используя следующую веб-ссылку cdh3-установки-ubuntu12.04 Теперь я попытался установить cdh4 для замены cdh3, но, к сожалению, ...
1
голос
1ответ
2k показов
Конфигурирование результатов hadoop в "/bin/java: нет такого файла или каталога"
Я пытаюсь установить hadoop на Cygwin. Я установил JAVA_HOME следующим образом: \cygdrive\c\work\java\jdk1.6.0_30 в файле conf/hadoop-env.sh . Выполнение echo $JAVA_HOME также отображается правильно ...
1
голос
0ответов
1k показов
Почему eclipse сообщает об ошибке, когда я использую его под учетной записью hadoop?
Я создал две учетные записи, одна из которых является обычным пользователем, другая - просто для hadoop, который является суперпользователем от имени root. Я могу нормально загрузить eclipse под ...
1
голос
0ответов
36 показов
Процесс таблицы Sqoop import sql server не показывает прогресса
Это моя первая попытка использования Apache Sqoop для импорта таблицы SQL Server (6 столбцов, 4 записи) в Hive. Ниже приведен код. sqoop import --connect ...
1
голос
1ответ
2k показов
Учебник для свиней в локальном режиме возвращает OutOfMemoryError
Я новичок со свиньей, и я стараюсь учиться из свиного учебника на веб-сайте Apache. Я работаю с hadoop 1.0.1 и PigVersion 0.11.1. В руководстве предлагается попробовать pig на двух примерах ...
1
голос
0ответов
877 показов
Cygwin ssh-host-config на windows для hadoop
Я новичок в Cygwin и Hadoop, пожалуйста, кто-нибудь может объяснить какая зеркальная ссылка подходит для установки Cygwin какая версия hadoop не содержит ошибок ( .sh хорошо работает) это должно ...
1
голос
1ответ
2k показов
Установка Hadoop на Ubuntu
Я установил Hadoop в Ubuntu из пакета .deb при запуске start-all.sh. Я получаю эту ошибку. Я настроил файл core-site.xml для hdfs:localhost:9001, но я выдаю ошибку. Я думаю, что проблема в пути к ...
0
голосов
0ответов
18 показов
Reg-exp для чтения файла журнала weblogic
Пример записи моего файла журнала weblogic приведен ниже.Я ищу регулярное выражение, которое может прочитать этот файл, и я могу затем создать внешнюю таблицу улья, поют SerDe с регулярным ...
0
голосов
0ответов
155 показов
Apache nifi - системная ошибка: «Запрос содержал недопустимый заголовок узла [localhost: 8080]»
Я использую Apache nifi в своей системе в фоновом режиме. При доступе к нему в моем браузере через этот URL: http://localhost:8080/nifi Я получаю эту ошибку: System Error : The request contained an ...
0
голосов
0ответов
10 показов
Восстановить метаданные hdfs
У меня есть один узел сервера HDFS. Я случайно выполнил следующую команду:hadoop namenode -format , которая удалила содержимое namenode. Данные datanode по-прежнему находятся в формате hdf (размер ...
0
голосов
0ответов
7 показов
Oracle SQL Developer Ошибка при подключении к серверу улья
Статус: Сбой -Тестирование не выполнено: [Cloudera] HiveJDBCDriver Ошибка инициализации или создания транспорта для аутентификации: java.net.ConnectException: соединение отказано: подключиться. ...
0
голосов
1ответ
17 показов
Могу ли я создать кластер Hadoop 2 с двумя узлами на двух разных виртуальных ящиках на двух разных ноутбуках в одной сети?
Итак, у меня есть два ноутбука с VirtualBox, оба работают под управлением Ubuntu 18.4, и я пытаюсь настроить кластер Hadoop 2. Один VB, чтобы быть хозяином, и один VB, чтобы быть рабом, возможно и ...
0
голосов
0ответов
31 показов
Не удалось запустить службы Hadoop: localhost: nice: не удалось установить милость: в доступе отказано
Я пытаюсь установить Hadoop в Ubuntu в качестве подсистемы Windows, установка завершена, но я получаю сообщение об ошибке при запуске служб Hadoop. $ start-dfs.sh Starting namenodes on [localhost] ...
0
голосов
0ответов
18 показов
Отключить проверку хоста для Hadoop
Я настроил Hadoop для запуска в качестве службы linux в экземпляре AWS EC2 (развернутого через группу автоматического масштабирования) и запускаю его как пользователь-искровщик. Однако, когда я ...
0
голосов
1ответ
28 показов
Ошибка Yum в Cent OS 7 Server
Я сталкиваюсь с следующей ошибкой при использовании yum. yum repolist Loaded plugins: fastestmirror File contains no section headers. file: file:///etc/yum.repos.d/ambari.repo, line: 1 '\n' Я ...
0
голосов
0ответов
8 показов
Несколько конфигурационных групп Kerberos - это Ambari
Я пытаюсь создать другую группу конфигурации для Kerberos Service в Ambari. Мне удалось создать новую группу конфигурации, но я не могу сохранить какие-либо изменения в новой группе конфигурации. ...
0
голосов
0ответов
32 показов
Hadoop на окнах подключения к Hadoop на VirtualBox
Я использую Apache BigTop на VirtualBox, и я хотел бы разработать и подключиться из Windows 10. Я перепробовал несколько конфигураций, но не получил «100%» того, что хотел бы сделать. Есть правильная ...
0
голосов
0ответов
15 показов
Использование sqoop для подключения с одного сервера на другой
Мы используем: sqoop.Sqoop: Запуск версии Sqoop: 1.4.6.2.6.5.19-1 в системе Linux в соответствии с Hadoop. и Linux VERSION = "7.4 Я пытаюсь подключиться между двумя серверами автоматически (без ...
0
голосов
1ответ
104 показов
При запуске Hadoop 2.8.0 в Windows 10 неправильно заданы разрешения YarnRuntimeException, должно быть rwxr-xr-x, фактическое значение = rw-rw-rw-
Недавно я следил за статьей https://www.quora.com/How-do-I-install-Hadoop-2-8-2-on-Windows-10-for-practice и пытался запустить Hadoop на моем компьютере с Windows 10 (i7, 16 ГБ ОЗУ). Все началось ...
0
голосов
0ответов
13 показов
В общем, что быстрее, Spark или RDMS?
Spark может загружать данные из Oracle с помощью JDBC , а затем обрабатывать данные с помощью RDD или Spark-SQL .Oracle также может обрабатывать данные с помощью собственного SQL. Интересно, что ...