запускать искровое приложение локально через sbt

Question

Я хочу запустить искровое задание локально для тестирования. Если использовать spark-submit и собранную банку, она работает нормально.

Однако если sbt run используется я получаю очень странную ошибку https://gist.github.com/geoHeil/946dd7706f44f338101c8332f4e13c1a

пытается установить Java-выбирает, как

javaOptions ++= Seq("-Xms512M", "-Xmx2048M", "-XX:MaxPermSize=2048M", "-XX:+CMSClassUnloadingEnabled") 

Не поможет решить эту проблему.

Попытка поиграться с настройками памяти в режиме local[*] как

.set("spark.executor.memory", "7g") 
.set("spark.driver.memory", "7g") 

сделал только нерест дополнительные проблемы в ExecutorLostFailure

Answer 1

Я никогда не столкнулся с этим вопросом специально, но я думаю, что искра код не сделал, чтобы запустить с sbt run. Я даже помню, как читал об этом в документах, но не мог найти его сейчас.

Я предполагаю, что вы должны вместо этого скомпилировать его с помощью sbt и вместо этого использовать spark-submit.