Как преобразовать cassandraRow в строку (искры apache)?

Question

Я пытаюсь создать Dataframe из RDD [cassandraRow] .. Но я не могу, потому что createDataframe (RDD [Row], схема: StructType) нужна RDD [Row] not RDD [cassandraRow].

• Как я могу это достичь?

А также в соответствии с ответом на этот вопрос How to convert rdd object to dataframe in spark

(один из ответов) предложение для использования toDF() на RDD [Роу], чтобы получить Dataframe от РДУ, не работает для меня , Я попытался использовать RDD [Row] в другом примере (пытался использовать toDF()).

• также неизвестно, как мы можем называть метод Dataframe (toDF()) экземпляром RDD (RDD [Row])?

Я использую Scala.

Answer 1

Если вам действительно нужно это, вы всегда можете сопоставить данные Спарк строки:

sqlContext.createDataFrame(
    rdd.map(r => org.apache.spark.sql.Row.fromSeq(r.columnValues)), 
    schema 
) 

, но если вы хотите DataFrames, то лучше импортировать данные непосредственно:

val df = sqlContext 
    .read 
    .format("org.apache.spark.sql.cassandra") 
    .options(Map("table" -> table, "keyspace" -> keyspace)) 
    .load()