0
Я просто повышен до Спарк 2.1.0 и решил проверить мои данные с Билайна, но по какой-то причине это дает мне:java.lang.ClassNotFoundException: org.apache.spark.Logging
Error: org.spark_project.guava.util.concurrent.UncheckedExecutionException: java.lang.ClassNotFoundException: org.apache.spark.Logging was removed in Spark 2.0. Please check if your library is compatible with Spark 2.0 (state=,code=0)
I переименовал старый каталог, чтобы все файлы были новыми. Я не использую свой собственный код, но beeline, который поставляется с Spark.
Вот шаги, которые я последовал:
cd /usr/local/spark
./sbin/start-thriftserver.sh --master spark://REMOVED:7077 --num-executors 2 --driver-memory 6G --executor-cores 6 --executor-memory 14G --hiveconf hive.server2.thrift.port=10015 --packages datastax:spark-cassandra-connector:1.6.4-s_2.11 --conf spark.cassandra.connection.host=REMOVED --conf spark.cassandra.auth.username=REMOVED --conf spark.cassandra.auth.password=REMOVED
./bin/beeline -u jdbc:hive2://REMOVED:10015
Так что я не очень уверен, что теперь делать, какие-либо предложения, пожалуйста?
Спасибо, это сработало отлично! Я выбрал 1.6.4, потому что это первая версия, которая появляется здесь: https://spark-packages.org/package/datastax/spark-cassandra-connector, поэтому я подумал, что это последнее, и я думал, что 2.0.0 был бета-версия или что-то еще. – Jason