Запись вложенного JSON в искровой scala

Question

My Spark-SQL генерирует вывод для запроса, объединяя две таблицы, которые имеют одну-много мощности. Мне нужно преобразовать данные в JSON. Так будет выглядеть вывод запроса.

Address_id_parent | Address_id_child | Country_child | city_child 
1     |  1   |  India  | Delhi 
1     |  1   |  US  | NewYork 
1     |  1   |  US  | NewJersey 

Приведенные выше данные должны быть преобразованы в JSON таким образом.

{ 
    "Address": { 
     "Address_id_parent": "1" 
    }, 
    "Address-details": [{ 
     "Address_id_child": "1", 
     "location": [{ 
       "country":"India", 
       "city":"Delhi", 
       }, 
       { 
       "country":"US", 
       "city":"NewYork", 
       }, 
       { 
       "country":"US", 
       "city":"NewJersey", 
       } 
       ] 
    }] 
} 

Как это сделать?

Answer 1

Проверить Dataframe интерфейс записи с JSON:

df.write.format("json").save(path)