Почему Datastax Spark Cassandra Connector 2.0 не может быть построен из источников для Scala 2.11?

Question

Я пытаюсь построить Datastax Spark-Cassandra Connector 2.0 из источников, для Scala 2.11. Планирование использования с Spark 2.0. Клонирование этого репозитория (мастер): https://github.com/datastax/spark-cassandra-connector

С помощью этой команды:

sbt -Dscala-2.11=true package 

Я получаю ошибки, связанные с некоторыми банками, которые не были найдены (почему не нашли что-то экзотическое?):

[ошибка] 13 не найдено [ошибка]
/Users/dochnev/.m2/repository/com/googlecode/json-simple/json-simple/1.1/json-simple-1.1.jar [ошибка]
/Users/dochnev/.m2/repositor y/com/typesafe/config/1.2.1/config-1.2.1.jar [ошибка]
/Users/dochnev/.m2/repository/com/yammer/metrics/metrics-core/2.2.0/metrics -core-2.2.0.jar [ошибка]
/Users/dochnev/.m2/repository/commons-net/commons-net/3.1/commons-net-3.1.jar [ошибка]
/Users/dochnev/.m2/repository/junit/junit/4.8.1/junit-4.8.1.jar [ошибка]
/Users/dochnev/.m2/repository/org/apache/curator/curator-client/2.4. 0/curator-client-2.4.0.jar [ошибка]
/Users/dochnev/.m2/repository/org/apache/curator/curator-framework/2.4.0/curator-framework-2.4.0.jar [ошибка]
/Users/dochnev/.m2/repository/org/apache/hadoop/hadoop-yarn-server-nodemanager/2.2.0/hadoop-yarn-server-nodemanager-2.2.0.jar [ошибка ]
/Users/dochnev/.m2/repository/org/apache/zookeeper/zookeeper/3.4.6/zookeeper-3.4.6.jar [ошибка]
/Users/dochnev/.m2/repository/org/ codehaus/janino/commons-compiler/2.7.8/commons-compiler-2.7.8.jar [ошибка]
/Users/dochnev/.m2/repository/org/hibernate/hibernate-validator/4.3.0.Final /hibernate-validator-4.3.0.Final.jar [ошибка]
/Users/dochnev/.m2/repository/org/jboss/logging/jboss-logging/3.1.0.CR2/jboss-logging-3.1. 0 .CR2.jar [ошибка]
/Users/dochnev/.m2/repository/org/yaml/snakeyaml/1.12/snakeyaml-1.12.jar

Можно ли это исправить и построить искровым Кассандру Разъем 2.0 для Scala 2.11?

Answer 1

Если ваша цель - использовать разъем искры-кассандра, почему вы беспокоитесь о его создании из источников? Почему бы вам не использовать --packages datastax:spark-cassandra-connector:2.0.0-M2-s_2.11 для Spark 2.0.0/Scala 2.11 и забыть о проблемах сборки?

Это не создавало для меня ни какое-то время из-за недостающих банок, и я сообщил об этом https://datastax-oss.atlassian.net/projects/SPARKC/summary и поговорил с разработчиками по телефону Gitter. В моем случае решение заключалось в том, чтобы очиститьрепо в отношении отказоустойчивых зависимостей, и он работал нормально (я удалил только каталоги для отказоустойчивых зависимостей, а не всего репо).

Я использую следующую команду, чтобы создать соединитель:

sbt -Dscala-2.11=true assembly 

Я делаю это каждое утро, которое занимает Са2 минут.

Answer 2

Удалено ~/.m2/репозиторий/и сборка была успешно завершена.

Answer 3

- пакеты datastax: spark-cassandra-connector: 2.0.0-M2-s_2.11 работает как шарм. Тем не менее, - packatata datastax: spark-cassandra-connector: 2.0.0-M3-s_2.11 все еще исключает исключение.