1
Я пытаюсь получить данные из Twitter через потоковое вещание. Я получаю данные в twt
varibale.Scala (Zeppeline): Задача не сериализуема
val ssc = new StreamingContext(sc, Seconds(60))
val tweets = TwitterUtils.createStream(ssc, None, Array("#hadoop", "#bigdata", "#spark", "#hortonworks", "#HDP"))
//tweets.saveAsObjectFiles("/models/Twitter_files_", ".txt")
case class Tweet(createdAt:Long, text:String, screenName:String)
val twt = tweets.window(Seconds(60))
//twt.foreach(status => println(status.text())
import sqlContext.implicits._
val temp = twt.map(status=>
Tweet(status.getCreatedAt().getTime()/1000,status.getText(), status.getUser().getScreenName())
).foreachRDD(rdd=>
rdd.toDF().registerTempTable("tweets")
)
twt.print
ssc.start()
здесь ошибка:
org.apache.spark.SparkException: Task not serializable
at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:304)
at org.apache.spark.util.ClosureCleaner$.org$apache$spark$util$ClosureCleaner$$clean(ClosureCleaner.scala:294)
at org.apache.spark.util.ClosureCleaner$.clean(ClosureCleaner.scala:122)
at org.apache.spark.SparkContext.clean(SparkContext.scala:2032)
at org.apache.spark.streaming.dstream.DStream$$anonfun$map$1.apply(DStream.scala:528)
at org.apache.spark.streaming.dstream.DStream$$anonfun$map$1.apply(DStream.scala:528)
at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:147)
at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:108)
at org.apache.spark.SparkContext.withScope(SparkContext.scala:709)
at org.apache.spark.streaming.StreamingContext.withScope(StreamingContext.scala:266)
Caused by: java.io.NotSerializableException: org.apache.spark.streaming.StreamingContext
я добавил так: корпус класса Tweet (createdAt: Длинный текст: String, ScreenName: String) расширяет Serializable. Это правильный способ сделать это? потому что это дает мне ту же ошибку. – Bond
Да, это правильно. Можете ли вы показать больше из stacktrace? –
http://i.imgur.com/eAT3tCr.png – Bond