Почему подача приложения Spark в Mesos завершается с ошибкой «Не удалось проанализировать главный URL-адрес:« mesos: // localhost: 5050 »?

Я получаю следующее исключение, когда я пытаюсь подать заявку Спарк в кластер Mesos:Почему подача приложения Spark в Mesos завершается с ошибкой «Не удалось проанализировать главный URL-адрес:« mesos: // localhost: 5050 »?

17/01/31 17:04:21 WARN NativeCodeLoader: Не удалось загрузить библиотеку нативной Hadoop для вашей платформы ... с использованием встроенных классов Java, где это применимо 17/01/31 17:04:22 ОШИБКА SparkContext: ошибка инициализации SparkContext. org.apache.spark.SparkException: не удалось проанализировать главный URL: 'mesos: // localhost: 5050' at org.apache.spark.SparkContext $ .org $ apache $ spark $ SparkContext $$ createTaskScheduler (SparkContext.scala: 2550) в org.apache.spark.SparkContext (SparkContext.scala:. 501)

источник

2017-01-31 DINESHKUMAR MURUGAN

Вы, вероятно, использовали неправильную команду для создания искры, например, отсутствует -Pmesos. Вы должны построить его, используя ./build/mvn -Pmesos -DskipTests clean package с Spark 2.1.0.

источник

2017-01-31 22:33:22 zsxwing

Любопытно, где эта опция '-Pmesos' задокументирована? Я нигде не мог найти другую ссылку. – zznq

См. Http://spark.apache.org/docs/2.1.0/building-spark.html#building-with-mesos-support – zsxwing

Почему подача приложения Spark в Mesos завершается с ошибкой «Не удалось проанализировать главный URL-адрес:« mesos: // localhost: 5050 »?

ответ

Смежные вопросы