Проверьте статус Oozie в UNIX

Question

Утилита Hadoop Admin

Создана базовая утилита администрирования hadoop, которая проверяет состояние dfs и состояние oozie.

Проверка статуса

В моей вышеупомянутой утилите я использую следующую команду:

bin/oozie admin -oozie http://localhost:11000/oozie -status

Озабоченность вышеуказанной команды

Если oozie работает неправильно, этот звонок не будет возвращен менее чем через час или 2. Утилита будет в состоянии Hang на долгое время. Это может повлиять на окно UNIX.

Альтернативное решение

Мы можем проверить логи

tail -100 oozie.log

• Сравните последнюю временную метку журнала с системной датой (timestamp). Если oozie_timestamp <5 мин (любой пороговый предел) system_timestamp , то выведите сообщение « Oozie прекратил работу ».

• Проверьте /Grep слово "Ошибка" в журнале Oozie.

Есть ли другие альтернативные решения , чтобы получить статус oozie другого "команду статуса Oozie" и "парсинг Oozie файлов журнал"

Answer 1

Вы можете просто использовать URL веб-сервиса напрямую с помощью curl и вручную установить время ожидания для запроса:

curl -m 10 http://localhost:11000/oozie/v1/admin/status

-m - это общее время ожидания ответа до сбоя.

Также может быть возможность изменить время ожидания по умолчанию для используемого http-клиента oozie (возможно, через системное свойство, установленное через -Dkey=value), но вам нужно будет покопаться в источнике и посмотреть, возможно ли это