Невозможно построить Spark + cassandra с помощью sbt-assembly

Question

Я пытаюсь создать простой проект с Spark + Cassandra для демонстрации SQL-аналитики. Мне нужно использовать Cassandra v2.0.14 (пока не удается обновить его). Я не могу найти правильную версию Spark и Spark-cassandra-connector. Я ссылался на проект Git Datastax по адресу - https://github.com/datastax/spark-cassandra-connector, и я знаю, что версии Spark и Spark-cassandra-connector должны соответствовать и быть совместимыми с Cassandra. Следовательно, хотел бы, чтобы кто-нибудь помог указать точные версии для Spark, Spark-Cassandra-connector. Я пробовал использовать v1.1.0 и v1.2.1 для Spark и Spark-Cassandra-коннектора, но не смог построить jat-банку с искровым кассандром-коннектором без поставляемого sbt (сбой, потому что загруженный барабан sbt-launch содержит 404 не нашел HTML), ни мой местный SBT v0.13.8 (терпит неудачу за ошибки компиляции для «импорта sbtassembly.Plugin. », «импорт AssemblyKeys.»)

Answer 1

, если вы можете обновить версию искры, то вы можете связаться с искра с кассандрой.

поставлен следующей Maven зависимости в п файл: -

Кассандры всех Кассандра ядро ​​ Кассандра отображение Кассандра бережливость Cassandra-клиентом искровой Кассандра разъема искровой Cassandra-разъем-Java

это будет работа.

Answer 2

Разъем работает с Cassandra 2.0 и 2.1, но некоторые функции также могут работать нормально с 2.2 и 3.0 (официально не поддерживается) с использованием старого драйвера Java 2.1. Это связано с тем, что драйвер C * Java поддерживает широкий диапазон версий Cassandra. Более новый драйвер работает со старыми версиями C *, но и более старые версии драйверов работают с более новыми версиями C *, исключая новые функции C *.

Однако, с использованием C * 2.0 существует одна незначительная оговорка: Начиная с версии 1.3.0 мы отбросили бережливого клиента с разъема. Это было сделано для упрощения кода подключения и облегчения отладки - отладка одного типа подключения должна быть проще двух. Он либо подключается, либо нет, больше никаких сюрпризов «он пишет прекрасно, но не может подключиться для чтения». К сожалению, не все функциональные возможности были раскрыты собственным протоколом в C * 2.0 или в системных таблицах. Поэтому, если вы используете C * до версии 2.1.5, автоматическое разделение размеров не будет работать должным образом, и вы должны указать разъему предпочтительное количество разделов. Это должно быть установлено в ReadConf объекте, переданном при создании RDD.

Что касается интерфейса между Connector и Spark, то гораздо меньше свободы. Spark API меняются довольно часто, и вам обычно нужен разъем, предназначенный для используемой версии Spark. См. Таблицу версий в README.

(терпит неудачу, потому что загруженный SBT-запуск баночка просто содержит 404 не найден HTML)

Это выглядит как проблема SBT, не проблема подключения. Я просто попытался сделать sbt clean assembly на всех версиях v1.2.5, v1.3.0, b1.4, и он отлично работал.