Результаты мониторинга в искровом исполнении Pagerank

Question

Я использовал пример искры на scala IDE. Я хочу сохранить историю выполнения задания даже после завершения выполнения. Есть ли какой-либо инструмент, который помогает мне визуализировать результаты в графическом виде, чтобы отслеживать эти показатели: объем памяти, диска I/O, исполнение времени, CPU, ...

Спасибо заранее

Answer 1

Там является мониторинг покоя апи

http://spark.apache.org/docs/latest/monitoring.html#rest-api

и вот как использовать его

http://techblog.kenshoo.com/2015/11/spark-monitoring-tips-from-trenches.html