Спарк: взрывать dataframe массив структур и добавить идентификатор

Question

Я в настоящее время dataframe с идентификатором и столбца, который массив структур:

root 
|-- id: integer (nullable = true) 
|-- lists: array (nullable = true) 
| |-- element: struct (containsNull = true) 
| | |-- text: string (nullable = true) 
| | |-- amount: double (nullable = true) 

Ниже приведен пример таблицы с данными:

id | lists 
----------- 
1 | [[a, 1.0], [b, 2.0]] 
2 | [[c, 3.0]] 

Как преобразовать приведенный выше фреймворк данных в нижеследующее? Мне нужно «взорвать» массив и добавить его одновременно.

id | col1 | col2 
----------------- 
1 | a  | 1.0 
1 | b  | 2.0 
2 | c  | 3.0 

---

Под редакцией Примечание:

Примечание есть разница между этими двумя примерами ниже. Первый содержит «массив структур элементов». В то время как позднее просто содержит «массив элементов».

root 
|-- id: integer (nullable = true) 
|-- lists: array (nullable = true) 
| |-- element: struct (containsNull = true) 
| | |-- text: string (nullable = true) 
| | |-- amount: double (nullable = true) 


root 
|-- a: long (nullable = true) 
|-- b: array (nullable = true) 
| |-- element: long (containsNull = true) 

Answer 1

explode именно функция:

import org.apache.spark.sql.functions._ 

df.select($"id", explode($"lists")).select($"id", $"col.text", $"col.amount")