Это может быть очень простой вопрос. Но есть ли простой способ измерить время выполнения искрового задания (представленное с использованием spark-submit)?Время выполнения задания искры
Это поможет нам профилировать искровые задания на основе размера входных данных.
EDIT: Я использую http://[driver]:4040 для наблюдения за моими работами, но этот веб-интерфейс отключается, когда моя работа заканчивается.
Каждый SparkContext запускает свой собственный экземпляр веб-интерфейс, который доступен на
http://[master]:4040
по умолчанию (порт может быть изменен с помощьюspark.ui.port).
предлагает страниц (вкладок) со следующей информацией:
Работа, этапы, хранения (с размером RDD и использования памяти) окружающей среды, исполнителях, SQL
Эта информация доступна только до тех пор, приложение работает по умолчанию.
Совет: Вы можете использовать веб-интерфейс после завершения работы приложения, включив spark.eventLog.enabled.
Пример веб-интерфейс, где вы можете видеть время, как 3.2hours: 
SPARK сам предоставляет много подробной информации о каждом этапе вашего искрового задания. Перейдите в веб-интерфейс Spark по адресу http://your-driver-node:4040, вы также можете использовать сервер истории.
Если вам просто нужно время выполнения, перейдите к «http://your-driver-node:8080», и вы можете увидеть время выполнения задания, отправленного на искру.
Вы можете проверить следующий URL: - http://spark.apache.org/docs/latest/monitoring.html – mpals
Я использую 'http: // your-driver-node: 4040' для постоянного наблюдения за моими работами, но это не дает мне конец времени завершения, не так ли? если да, то где ... Я проверю вторую ссылку, хотя! благодаря! – pranav3688
спасибо, я собирался спросить о сохранении информации после окончания работы, но вы все равно ответили. «Spark.eventLog.enabled» - это параметр конфигурации, указанный в командной строке при отправке искрового задания, правильно? – pranav3688
Да, вы правы. Например: ./bin/spark-submit -name «Мое приложение» --master local [4] --conf spark.eventLog.enabled = false --conf "spark.executor.extraJavaOptions = -XX: + PrintGCDETails -XX: + PrintGCTimeStamps "myApp.jar –