Как определить максимальный объем кэширования памяти во время работы Spark?

Question

Может ли кто-нибудь сказать мне, как определить максимальный объем кэширования памяти во время работы Spark? Мне нужно это, чтобы показать производительность (использование памяти) моего алгоритма для различных размеров ввода.

Заранее спасибо

Answer 1

Есть некоторые metrices, которые подвергаются искрой с помощью REST API, для бега и завершенные работы

1. Http: //: 4040/API/v1 - для запуска приложений
2. http: //: 18080/api/v1 - для завершенных приложений, только если ваш сервер истории настроен.

Вот два API, которые могут помочь вам: -

1. /приложение/[приложение-ID]/хранение/RDD - Предоставляет список сохраненного РДА для данного приложения.
2. /applications/[app-id]/storage/rdd/[rdd-id] - информация для хранения состояние данного RDD.

См Спарк док для всех открытых конечных точек REST - http://spark.apache.org/docs/latest/monitoring.html