Спарк SQL: Преобразование РДД [GenericData.Record] для DataFrame

Question

Возможно, этот вопрос может показаться немного абстрактным, вот оно:

val originalAvroSchema : Schema = // read from a file 
val rdd : RDD[GenericData.Record] = // From some streaming source 

// Looking for a handy: 
val df: DataFrame = rdd.toDF(schema) 

Я исследую spark-avro, но он имеет поддержку только для чтения из файла, а не от существующего RDD.

Answer 1

import com.databricks.spark.avro._ 

val sqlContext = new SQLContext(sc) 
val rdd : RDD[MyAvroRecord] = ... 
val df = rdd.toAvroDF(sqlContext)