Спарк Streaming Twitter Пример: NoClassDefFoundError при использовании TwitterUtils.createStream

Question

Я пытаюсь реализовать http://ampcamp.berkeley.edu/big-data-mini-course/realtime-processing-with-spark-streaming.html или http://www.pwendell.com/2013/09/28/declarative-streams.html (хотя это использует устаревшую версию Спарк), но я продолжаю в конечном итоге с:

Исключение в потоке «Основной "java.lang.NoClassDefFoundError: орг/апач/искра/потоковое/dstream/NetworkInputDStream

Вот пример кода, который вызывает проблему:

val ssc = new StreamingContext("local[12]", "Twitter Downloader", Seconds(30)) 

//causes the error 
val tweets = TwitterUtils.createStream(ssc, None) 

Кроме того, я использую Scala и Eclipse,

Спасибо! (Я могу напечатать больше ошибок или результатов, если это полезно)

Answer 1

Решенный - использовал версию Spark-streaming-twitter (.jar) версии .9 вместо 1.02