2016-12-02 5 views
0

Я подаю искру с помощью следующей команды,Отправить Спарк работу не загружается с искровым Cloudant: 2.0.0-s_2_11 пакет

./spark-submit --packages Cloudant-лаборатории: искровым Cloudant: 2,0 0,0-s_2.11 --class spark.cloudant.connecter.cloudantconnecter --master местный [*] /opt/demo/sparkScripts/ScoredJob/sparkcloudantconnecter.jar

Но, похоже, "искра-Cloudant" пакет не загружается .. Возможно, это не загрузка из-за артефакта, расположенного в репозитории Spark Packages (https://dl.bintray.com/spark-packages/maven/)

Итак, какие изменения требуют команды для загрузки пакета?

Все детали этого пакета показывает здесь https://mvnrepository.com/artifact/cloudant-labs/spark-cloudant/2.0.0-s_2.11

ответ

2

Кажется, требуется добавить репозиторий во время загрузки пакета с помощью искрового подать команду,

- хранилище URL

Таким образом, новая команда будет,

./spark-submit --packages Cloudant-лаборатория: искровой Cloudant: 2.0.0-s_2.11 --repositories https://dl.bintray.com/spark-packages/maven/ --class spark.cloudant.connecter.cloudantconnecter --master локальный [*] /opt/demo/sparkScripts/ScoredJob/sparkcloudantconnecter.jar