Невозможно преобразовать json-файл в паркет с использованием искры

Question

Я использую искру 1.6.0. У меня есть json-файл. Он приведен ниже.

{"id" : "1201", "name" : "shamir", "age" : "25"} 

Я пытаюсь преобразовать его в паркет. Ниже мой код.

val sqlContext = new org.apache.spark.sql.SQLContext(sc) 
import sqlContext.implicits._ 
import sqlContext.sql 
val employee = sqlContext.read.json("emp.json") 
employee.write.parquet("employee.parquet") 

Я получаю огромную ошибку. Что я делаю не так?

Это ошибка, которую я получаю.

Answer 1

без сообщения об ошибке, мало что можно сделать, чтобы ответить, но следующие две строки должны работать (проверено на Спарк 1.5.2):

val employee = sqlContext.jsonFile("emp.json") 
employee.saveAsParquetFile("employee.parquet") 
//Equivalent to : 
employee.write.format("parquet").mode(SaveMode.ErrorIfExists).save("employee.parquet") 

В противном случае это может быть проблема конфигурации вашей системы или доступности выходного пути.

Обратите внимание, что employee.write.parquet("employee.parquet") эквивалентно employee.write.format("parquet").save("employee.parquet")

Answer 2

Try сливаться с меньшим количеством разделов, прежде чем сохранить

employee.coalesce(numPartitions).write.mode(SaveMode.Overwrite).parquet("employee.parquet")