При запуске Hadoop 2.8.0 в Windows 10 неправильно заданы разрешения YarnRuntimeException, должно быть rwxr-xr-x, фактическое значение = rw-rw-rw-

Question

Недавно я следил за статьей https://www.quora.com/How-do-I-install-Hadoop-2-8-2-on-Windows-10-for-practice и пытался запустить Hadoop на моем компьютере с Windows 10 (i7, 16 ГБ ОЗУ). Все началось правильно - никаких проблем. Но когда я установил Docker, в котором inturn включил Hyper-V, я начал получать следующую ошибку при запуске NodeManager

18/12/19 21:29:31 INFO ipc.Server: IPC Server listener on 8040: starting
18/12/19 21:29:31 WARN localizer.ResourceLocalizationService: Permissions incorrectly set for dir /tmp/hadoop-username/nm-local-dir/usercache, should be rwxr-xr-x, actual value = rw-rw-rw-
18/12/19 21:29:31 INFO localizer.ResourceLocalizationService: Attempting to initialize /tmp/hadoop-username/nm-local-dir
18/12/19 21:29:31 WARN localizer.ResourceLocalizationService: Permissions incorrectly set for dir /tmp/hadoop-username/nm-local-dir/usercache, should be rwxr-xr-x, actual value = rw-rw-rw-
18/12/19 21:29:31 WARN localizer.ResourceLocalizationService: Failed to setup local dir /tmp/hadoop-username/nm-local-dir, which was marked as good.
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Permissions incorrectly set for dir /tmp/hadoop-username/nm-local-dir/usercache, should be rwxr-xr-x, actual value = rw-rw-rw-
...

Следующие сервисы запускаются без проблем

• ResourceManager
• DataNode
• NameNode

Answer 1

Изменение yarn-site.xml для этого работало для меня. В моем случае это было связано с недоступностью домена Windows.

<configuration>

<!-- Site specific YARN configuration properties -->
     <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>0.0.0.0</value>
    </property>
<property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>c:\my\hadoop-2.7.1\tmp-nm</value>
</property>

    <property>
        <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
        <value>98.5</value>
    </property>
</configuration>