Сформировать различные значения из столбца в свече dataframe

Question

У меня есть искра dataframe, как показано ниже

id|name|age|sub 
1 |ravi|21 |[M,J,J,K] 

Я не хочу, чтобы взорвать на колонке «суб», как это создаст еще один дополнительный набор строк. Я хочу генерировать уникальные значения из столбца «sub» и назначать его новому столбцу sub_unique.

Мой вывод должен быть как

id|name|age|sub_unique 
1 |ravi|21 |[M,J,K] 

Answer 1

Вы можете использовать udf

val distinct = udf((x: Seq[String]) => if (s != null) x.distinct else Seq[String]()) 

df.withColumn("subm_unique", distinct($"sub"))