0
Моя цель - предоставить статистику рабочих мест Hadoop для пользовательских интерфейсов пользователя.Hadoop Статистика вакансий с использованием YARN Resource Manager REST API + elasticsearch + Kibana
Я использую кластер HortonWorks Hadoop2 и задания выполняются на YARN.
С точки зрения архитектуры, я планирую собирать информацию о работе (например, время начала, время окончания, карты и т. Д.) От YARN Resource Manager REST API по заданию cron >> указать их в эластичный поиск >> показать их в Kibana ,
Интересно, есть ли лучший способ сделать это.
Ambari - это больше инструмент для мониторинга. Я не думаю, что это полезно для статистики работы. Например, я хочу увидеть шаблон выполнения задания Hadoop за последний месяц. Пожалуйста, исправьте меня, я ошибаюсь. – Arun
Исторически, конечно. Тем не менее, мне сказали, что для Ambari необходимо включить даже функциональность в настоящее время в Hue (например, запустить запросы Hive и Pig). Я говорю только об этом, указывая на то, что он растет и растет. Я считаю, что запросы в Hive находятся в последней версии. Все данные о работе сохраняются в HDFS, и Ambari имеет возможность представлять данные в пользовательских представлениях. Я мог видеть кого-то с прецедентом для создания отчетов, оповещения о конкретной работе или потоке заданий. Это лучше всего подходит для вашей ситуации? Возможно, нет. Просто упомянуть об этом, потому что он более мощный и расширяемый, чем обычно считается. – MondayMonkey
Извините, предел персонажа убивает меня. Взял 3 качания на него. – MondayMonkey