выбрать из паркетного стола ничего не возвращает в куст

Question

Я просто последовал за этим, чтобы создать простой паркетный файл.

Scala> val sqlContext = new org.apache.spark.sql.SQLContext(sc) 
Scala> val employee = sqlContext.read.json(“employee”) 
Scala> employee.write.parquet(“employee.parquet”) 

Файл паркета создается и в порядке.

а затем я создаю внешний стол для улья, предоставляя этот employee.parquet как мое местоположение. обратите внимание, что это обычный файл sys path no s3: // или hdfs.

это мой улей таблица создать запрос:

create external table employees (a String, b String, c Int) stored as PARQUET location '/Users/Sumit/Documents/Repos/misc_codes/employees.parquet'; 

это говорит ОК, то есть таблица создается. он даже появляется в шоу-столах;

но когда я делаю:

select * from employees; 

не возвращает ничего, просто ОК. Я полагаю, что я имел 3 записей в моем employee.json как это:

{"age": 50, "name": "adi", "title": "sir"} 
{"age": 60, "name": "jyoti", "title": "mam"} 
{"age": 14, "name": "sumit", "title": "baalak"} 

и становится успешно создан как паркетной файл, где я ошибся?

Спасибо,

Answer 1

Названия столбцов в таблице улья должны совпадать с именами в формате JSON файла, хотя порядок столбцов не matter-

create external table employees (name String, title String, age Int) stored as PARQUET location '/Users/Sumit/Documents/Repos/misc_codes/employees.parquet';