Извлеките значение столбца и назначьте его другому столбцу в виде массива в искровом информационном кадре

Question

У меня есть фреймворк Spark с нижеследующими столбцами.

C1 | C2 | C3 | C4

1 | 2 | 3 | S1

2 | 3 | 3 | S2

4 | 5 | 3 | S2

Я хочу создать другой столбец C5, принимая различные значения из колонки C4 как C5

[S1,S2] 

[S1,S2] 

[S1,S2] 

Может кто-нибудь помочь мне, как добиться этого в свече кадра данных с помощью Scala

Answer 1

Вы можете для сбора отдельных элементов из столбца 4 и сначала поместить их в список, а затем использовать withColumn, чтобы создать новый столбец C5, создав udf, который всегда возвращает список констант:

val uniqueVal = df.select("C4").distinct().map(x => x.getAs[String](0)).collect.toList  
def myfun: String => List[String] = _ => uniqueVal 
def myfun_udf = udf(myfun) 

df.withColumn("C5", myfun_udf(col("C4"))).show 

+---+---+---+---+--------+ 
| C1| C2| C3| C4|  C5| 
+---+---+---+---+--------+ 
| 1| 2| 3| S1|[S2, S1]| 
| 2| 3| 3| S2|[S2, S1]| 
| 4| 5| 3| S2|[S2, S1]| 
+---+---+---+---+--------+