Запуск Spark в автономном режиме с помощью Scala 2.11?

я следовать инструкциям по созданию Спарк с Scala 2.11:Запуск Spark в автономном режиме с помощью Scala 2.11?

mvn -Dscala-2.11 -DskipTests clean package

Затем я запускаю в соответствии с инструкциями:

./sbin/start-master.sh

Это терпит неудачу с двумя строками в файле журнала:

Failed to find Spark assembly in /etc/spark-1.2.1/assembly/target/scala-2.10 
You need to build Spark before running this program.

Очевидно, что он ищет сборку scala-2.10, но я сделал сборку scala-2.11. Я попробовал очевидный флаг -Dscala-2.11, но это ничего не изменило. В документах ничего не говорится о том, как работать в автономном режиме с помощью scala 2.11.

Заранее благодарен!

источник

2015-04-15 clay

Перед сборкой необходимо запустить скрипт под:

разработчика/change-version-to-2.11.sh

Что следует заменить ссылки на 2.10 с 2.11.

Обратите внимание, что это не обязательно будет работать как задумано с не-GNU SED (например, OS X)

источник

2015-04-15 19:50:39 dpeacock

Я побежал этот сценарий. Это не помогло. Я получаю ту же самую ошибку, ссылающуюся на сборку/цель/scala-2.10. Я попробовал это как в Spark 1.2.1 (предпочтительнее), так и в последней версии Spark 1.3.0 для проверки. – clay

Вы на машине Linux? Другой вариант - просто вручную отредактировать сценарий самостоятельно. – dpeacock

Да, Linux. CentOS VM, чтобы быть конкретным. У меня не было никаких ошибок. Есть ли способ проверить, что команда sed выполнена успешно? – clay

Запуск Spark в автономном режиме с помощью Scala 2.11?

ответ

Смежные вопросы