Зачем возникает ошибка при отправке с ошибкой: «Не удалось загрузить класс для источника данных: org.apache.spark.sql.cassandra» с соединителем Cassandra в --jars?

Question

версия Spark: 1.4.1

Cassandra Версия: 2.1.8

Datastax Cassandra Разъем: 1.4.2-SNAPSHOT.jar

Команда Я побежал

./spark- submit --jars /usr/local/src/spark-cassandra-connector/spark-cassandra-connector-java/target/scala-2.10/spark-cassandra-connector-java-assembly-1.4.2-SNAPSHOT.jar - driver-class-path /usr/local/src/spark-cassandra-connector/spark-cassandra-connector-java/target/scala-2.10/spark-cass andra-connector-java-assembly-1.4.2-SNAPSHOT.jar --jars /usr/local/lib/spark-1.4.1/external/kafka/target/scala-2.10/spark-streaming-kafka_2.10-1.4 .1.jar --jars /usr/local/lib/spark-1.4.1/external/kafka-assembly/target/scala-2.10/spark-streaming-kafka-assembly_2.10-1.4.1.jar --driver -class-path /usr/local/lib/spark-1.4.1/external/kafka/target/scala-2.10/spark-streaming-kafka_2.10-1.4.1.jar --driver-class-path/usr/local/lib/spark-1.4.1/external/kafka-assembly/target/scala-2.10/spark-streaming-kafka-assembly_2.10-1.4.1.jar --packages org.apache.spark: spark-streaming- kafka_2.10: 1.4.1 6g --executor-память --executor-ядер 6 --master местного [4] kafka_streaming.py

Ниже ошибка я получаю:

Py4JJavaError: An error occurred while calling o169.save. 
: java.lang.RuntimeException: Failed to load class for data source: org.apache.spark.sql.cassandra 

Должно быть, что-то глупое. Любой ответ будет оценен.

Answer 1

Try, чтобы обеспечить все ваши банки в том же --jars вариант (через запятую):

--jars yourFirstJar.jar,yourSecondJar.jar 

Более удобным решением для целей развития будет использовать банки из Maven центральных (разделенных запятыми):

--packages org.apache.spark:spark-streaming-kafka_2.10:1.4.1,com.datastax.spark:spark-cassandra-connector_2.10:1.4.1