Как я могу вычислить ресурсы памяти и процессора, используемые приложением, представленным с помощью задания SPARK в HDInsight

Question

Мой клиент использует HDInsight как свою платформу Big Data и как часть текущего администрирования системы необходимо записать общая память и Процессор Потребление различных приложений проходит через Spark. Поскольку конфигурация и предложение продукта HDInsight несколько отличаются друг от друга, YARN не содержит пользовательский интерфейс Job Tracker.

Есть ли способ захвата памяти и процессора? Есть ли журнал, который поддерживается, который может быть использован для извлечения информации?

Тип кластера и HDInsight версия искру на Linux (HDI 3.4.1000.0)

Answer 1

Вы можете использовать Спарк History Server. Вот статья о нем: https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-job-debugging

HDI кластеры v3.4 имеют Спарк 1.6.2, так что REST API находится по адресу: http://spark.apache.org/docs/1.6.2/monitoring.html#rest-api