Отладка Apache Spark кластерное приложение от Eclipse

Question

Я пытаюсь отладить приложение Spark, запущенное на eclipse в кластерной/распределенной среде, но не в состоянии добиться успеха. Приложение java based, и я запускаю его через Eclipse. Конфигурации для искры для мастера/работника предоставляются только через Java.

Хотя я могу отлаживать код со стороны водителя, но по мере того, как поток кода перемещается в Spark (например, вызов .map(..)), отладчик не останавливается. Потому что этот код работает в JVM Workers.

Есть ли в любом случае я могу достичь этого?

Я попытался дать следующие конфигурации в Tomcat через Eclipse: -Xdebug -Xrunjdwp:server=y,transport=dt_socket,address=7761,suspend=n

и настройки соответствующего порта в Debug-> удаленного приложения Java.

Но после того, как эти настройки я получаю сообщение об ошибке: Failed to connect to remote VM.Connection Refused

Если кто имеет какое-либо решение этой проблемы, пожалуйста, помогите.

Answer 1

Я столкнулся с такой же проблемой при настройке искровой отладки на удаленный мастер. Но после этого я установил искру на моей машине Ubuntu, тогда она работала нормально. Если вы действительно хотите отладить, мои предложения являются

1- configure spark on your testing machine then you can easily debug applications.
2- use IntelliJ IDEA, I've used it for for debugging if I've to use remote spark.

Редакцией: Если вы собираетесь использовать IntelliJ IDEA, то вы можете легко настроить удаленную отладку, как описано здесь. Debugging Apache Spark Jobs