JodaTime выпускает scala и искру при вызове spark-submit

Question

У меня возникли проблемы с использованием JodaTime в программе искровой скалы. Я пробовал решения, опубликованные в прошлом в Stackoverflow, и они, похоже, не исправляют проблему для меня.

Когда я пытаюсь искровым представить его возвращается с ошибкой, как следующий:

15/09/04 17:51:57 INFO Remoting: Remoting started; listening on addresses :   
        [akka.tcp://sparkDriver@100.100.100.81:56672] 
    Exception in thread "main" java.lang.NoClassDefFoundError: org/joda/time/DateTimeZone 
     at com.ttams.xrkqz.GenerateCsv$.main(GenerateCsv.scala:50) 
     at com.ttams.xrkqz.GenerateCsv.main(GenerateCsv.scala) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 

После sbt package, который, кажется, работает хорошо, я призываю spark-submit как это ... ~/spark/bin/spark-submit --class "com.ttams.xrkqz.GenerateCsv" --master local target/scala-2.10/scala-xrkqz_2.10-1.0.jar

В моем файле build.sbt, у меня есть

scalaVersion := "2.10.4" 

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.1" 

libraryDependencies ++= Seq ("joda-time" % "joda-time" % "2.8.2", 
         "org.joda" % "joda-convert" % "1.7" 
         ) 

Я пробовал несколько версий Joda времени и joda-convert, но я не могу использовать spark-submit из командной строки. Однако, похоже, это работает, когда я бегу внутри ide (scalaide).

Дайте мне знать, если у вас есть предложения или идеи.

Answer 1

Кажется, что вам не хватает зависимостей в пути к вашему классу. Вы могли бы сделать несколько вещей: один из них - вы можете вручную добавить joda time jars, чтобы исправить submit с аргументом --jars, а другой - использовать плагин сборки и построить сборку (вы, скорее всего, ядро, как «предоставлено», чтобы оно не попало в вашу сборку), которое будет иметь все ваши зависимости.