1

Это моя первая попытка использования Apache Sqoop для импорта таблицы SQL Server (6 столбцов, 4 записи) в Hive. Ниже приведен код.

sqoop import --connect "jdbc:sqlserver://192.168.10.101:1433;database=Testdb" --username abc--password abc --table "DimEmployee" --create-hive-table --hive-import --hive-table DboDimEmployee

Выполнение прошло нормально, но остановилось на этом выходе 

19/01/25 13:19:36 INFO mapreduce.Job: Running job: job_1548438714494_0003

Я проверил веб-страницу Hadoop UI. Это конкретное приложение не имеет ресурсов, выделенных для него, и прогресс составляет 0%. Я не уверен, что я сделал не так.

Ниже приводится дополнительная информация.

  1. Параметры соединения sql db верны, и я проверил соединение со стороны Hadoop.
  2. Улей работает отлично. Мне удалось создать базу данных или таблицу в улье.
  3. Вся система Hadoop находится в VirtualBox на моем ноутбуке. Главный узел имеет память 4G, а узел данных имеет память 1G.

  4. Ниже приведены единственные конфигурации, связанные с памятью, которые я сделал на Hadoop. Я не уверен, что проблема связана с памятью, и я отправил это на всякий случай.

    vi mapred-site.xml
  <property>
    <name>mapreduce.framework.name</name>
          <value>yarn</value>
  </property>
  <property>
        <name>yarn.app.mapreduce.am.resource.mb</name>
        <value>256</value>
  </property>
  <property>
          <name>mapreduce.map.memory.mb</name>
          <value>128</value>
  </property>
  <property>
          <name>mapreduce.reduce.memory.mb</name>
          <value>128</value>
  </property>

  5. Я никогда не видел, чтобы прогресс карты уменьшался, как% карты и% уменьшения.

  6. В моей установке не было HBASE, HCatalog, Accumulo или zookeeper. Я не думаю, что они мне нужны, но я могу ошибаться.

  7. Ниже приведены все исполнительные сообщения, полученные от Sqoop.

Warning: /home/admin1/sqoop/../hbase does not exist! HBase imports will fail. Please set $HBASE_HOME to the root of your HBase installation. Warning: /home/admin1/sqoop/../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /home/admin1/sqoop/../accumulo does not exist! Accumulo imports will fail. Please set $ACCUMULO_HOME to the root of your Accumulo installation. Warning: /home/admin1/sqoop/../zookeeper does not exist! Accumulo imports will fail. Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation. 19/01/28 09:56:12 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7 19/01/28 09:56:12 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 19/01/28 09:56:12 INFO tool.BaseSqoopTool: Using Hive-specific delimiters for output. You can override 19/01/28 09:56:12 INFO tool.BaseSqoopTool: delimiters with --fields-terminated-by, etc. 19/01/28 09:56:12 WARN sqoop.ConnFactory: Parameter --driver is set to an explicit driver however appropriate connection manager is not being set (via --connection-manage r). Sqoop is going to fall back to org.apache.sqoop.manager.GenericJdbcManager. Please specify explicitly which connection manager should be used next time. 19/01/28 09:56:12 INFO manager.SqlManager: Using default fetchSize of 1000 19/01/28 09:56:12 INFO tool.CodeGenTool: Beginning code generation 19/01/28 09:56:12 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM DimEmployee AS t WHERE 1=0 19/01/28 09:56:12 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM DimEmployee AS t WHERE 1=0 19/01/28 09:56:12 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /home/admin1/hadoop Note: /tmp/sqoop-admin1/compile/e8e0b042e5ecc16c39484556762dae8a/DimEmployee.java uses or overrides a deprecated API. Note: Recompile with -Xlint:deprecation for details. 19/01/28 09:56:17 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-admin1/compile/e8e0b042e5ecc16c39484556762dae8a/DimEmployee.jar 19/01/28 09:56:18 INFO mapreduce.ImportJobBase: Beginning import of DimEmployee 19/01/28 09:56:18 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar 19/01/28 09:56:18 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM DimEmployee AS t WHERE 1=0 19/01/28 09:56:19 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps 19/01/28 09:56:19 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 19/01/28 09:56:29 INFO db.DBInputFormat: Using read commited transaction isolation 19/01/28 09:56:29 INFO db.DataDrivenDBInputFormat: BoundingValsQuery: SELECT MIN(EmployeeKey), MAX(EmployeeKey) FROM DimEmployee 19/01/28 09:56:29 INFO db.IntegerSplitter: Split size: 73; Num splits: 4 from: 1 to: 296 19/01/28 09:56:29 INFO mapreduce.JobSubmitter: number of splits:4 19/01/28 09:56:29 INFO Configuration.deprecation: yarn.resourcemanager.system-metrics-publisher.enabled is deprecated. Instead, use yarn.system-metrics-publisher.enabled 19/01/28 09:56:30 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1548697949348_0001 19/01/28 09:56:31 INFO impl.YarnClientImpl: Submitted application application_1548697949348_0001 19/01/28 09:56:31 INFO mapreduce.Job: The url to track the job: http://name1:8088/proxy/application_1548697949348_0001/ 19/01/28 09:56:31 INFO mapreduce.Job: Running job: job_1548697949348_0001

|источник

0