DataFrame: добавить имя столбца в данные строк

Question

Я ищу способ добавления имен столбцов к данным строки фрейма данных. Количество столбцов может отличаться время от времени

Я Спарк 1.4.1

У меня есть dataframe:

Edit:: все данные String типа только

+---+----------+ 
|key|  value| 
+---+----------+ 
|foo|  bar| 
|bar| one, two| 
+---+----------+ 

Я хотел бы получить:

+-------+---------------------+ 
    |key |    value| 
    +-------+---------------------+ 
    |key_foo|   value_bar| 
    |key_bar| value_one, value_two| 
    +---+-------------------------+ 

Я попытался

import org.apache.spark.sql._ 
import org.apache.spark.sql.functions._ 

val concatColNamesWithElems = udf { seq: Seq[Row] => 
    seq.map { case Row(y: String) => (col +"_"+y)}} 

Answer 1

Сохранить DataFrame в таблице (Ex: dfTable), так что вы пишете SQL на нем.

df.registerTempTable("dfTable") 

Создать UDF и Регистрация: Я полагаю, ваш value тип столбца String

sqlContext.udf.register("prefix", (columnVal: String, prefix: String) => 
    columnVal.split(",").map(x => prefix + "_" + x.trim).mkString(", ") 
) 

Использование UDF в запросе

//prepare columns which have UDF and all column names with AS 
//Ex: prefix(key, "key") AS key // you can this representation 
val columns = df.columns.map(col => s"""prefix($col, "$col") AS $col """).mkString(",") 


println(columns) //for testing how columns framed 

val resultDf = sqlContext.sql("SELECT " + columns + " FROM dfTable")