Scala/Spark: вызвано: java.lang.ClassNotFoundException: org.apache.spark.Logging

Question

Я довольно новичок в scala и spark. Попытка исправить мою установку развития искры/скала. Меня путают версии и недостающие банки. Я искал в stackoverflow, но все еще застрял в этой проблеме. Возможно, что-то отсутствует или неправильно настроено.

Выполнение команд:

me@Mycomputer:~/spark-2.1.0$ bin/spark-submit --class ETLApp /home/me/src/etl/target/scala-2.10/etl-assembly-0.1.0.jar 

Выход:

... 
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/Logging 
... 
Caused by: java.lang.ClassNotFoundException: org.apache.spark.Logging 

build.sbt:

name := "etl" 

version := "0.1.0" 
scalaVersion := "2.10.5" 
javacOptions ++= Seq("-source", "1.8", "-target", "1.8") 
mainClass := Some("ETLApp") 

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.2" % "provided"; 
libraryDependencies += "org.apache.spark" %% "spark-sql" % "1.5.2" % "provided"; 
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "1.5.2" % "provided"; 
libraryDependencies += "org.apache.spark" %% "spark-streaming-kafka" % "1.5.2"; 
libraryDependencies += "com.datastax.spark" %% "spark-cassandra-connector" % "1.5.0-M2"; 
libraryDependencies += "org.apache.curator" % "curator-recipes" % "2.6.0" 
libraryDependencies += "org.apache.curator" % "curator-test" % "2.6.0" 
libraryDependencies += "args4j" % "args4j" % "2.32" 

Java -версия Java версия "1.8.0_101"

Скала-версия 2.10.5

искра версия 2.1.0

Любые намеки приветствуются. Спасибо

Answer 1

В этом случае ваша банка должна приносить все классы зависимых при отправке в искру.

В maven это возможно с помощью плагина сборки и дескриптора jar-with-dependencies. с sbt быстро Google нашел это: https://github.com/sbt/sbt-assembly