Преобразование файла json в одну строку

Question

У меня есть огромный файл .json, как показано ниже. Я хочу преобразовать этот JSON в dataframe на Spark.

{ 
    "movie": { 
     "id": 1, 
     "name": "test" 
    } 
} 

Когда я выполнить следующий код, я получаю _corrupt_record ошибку:

val df = sqlContext.read.json("example.json") 
df.first() 

В последнее время я узнал, что Спарк поддерживает только одну строку JSON файлов, как:

{ "movie": { "id": 1, "name": "test test" } } 

Как я могу преобразовать текст JSON из нескольких строк в одну строку.

Answer 1

Этот инструмент возьмет ваш многострочный код JSON и через процесс, называемый «minify», он будет конденсировать все его до одной строки.

http://www.httputility.net/json-minifier.aspx