Программа Spark для мониторинга производительности исполнителей

Question

Я работаю над программой искры, которая контролирует производительность каждого исполнителя, например, помечает, когда один исполнитель начинает работать и когда он заканчивает работу. Я думаю, что это два способа сделать это:

Сначала создайте программы, чтобы при запуске исполнителя он помечал текущее время на файл, когда он заканчивается, отметьте это время в том же файле. В конце всех «журнальных» файлов будут распространены все кластерные сети, за исключением машины драйвера.

Во-вторых, поскольку исполнители будут периодически отчитываться перед драйвером, каждый раз, когда драйвер получает сообщение от исполнителей, если сообщение содержит информацию о «старте» и «завершении», пусть драйвер записывает все.

Возможно ли это?

Answer 1

Есть много способов, чтобы контролировать работу исполнителя, а также производительность приложений

Лучших способами являются мониторингом с помощью Спарка Web UI и других инструментов мониторинга доступны Open Source (ганглии)

вам нужно для мониторинга вашего приложения, используется ли ваш кластер или нет, сколько ресурсов используется вашим приложением, которое вы создали.

Мониторинг может быть выполнен с использованием различных инструментов, например. Ганглиев ганглиев вы можете найти процессора, памяти и сети Использование .Based по наблюдению о CPU и использования памяти вы можете получить лучшее представление о какая настройка необходима для применения

Надежда это помогает !!! ....