parquet

-2зной

2ответ

Невозможно преобразовать json-файл в паркет с использованием искры

Я использую искру 1.6.0. У меня есть json-файл. Он приведен ниже. {"id" : "1201", "name" : "shamir", "age" : "25"} Я пытаюсь преобразовать его в паркет. Ниже мой код. val sqlContext = new org.apache

0зной

1ответ

Hive DDL для паркета формиата со сложными типами данных

Может кто-то помочь мне создать Улья DDL для этого набора данных, который был обработан и сохранен в формате Паркетная .. свойства: { "freq": "8600", "id": "23266", "array": [ {

4зной

4ответ

Можем ли мы загрузить файл Parquet в Hive прямо?

Я знаю, что мы можем загружать паркетный файл с помощью Spark SQL и использовать Impala, но интересно, можем ли мы сделать то же самое с помощью Hive. Я читал много статей, но я все еще смущен. Проще

0зной

1ответ

Spark Streaming - загрузка файла Parquet на ошибку S3

Я совершенно новый в теме Spark Streaming. Через потоковое приложение Я создаю файлы паркета размером около 2,5 МБ и сохраняю их в S3/локальном каталоге. метод я использую следующим образом: data.writ

1зной

1ответ

Avro, паркет и SequenceFileFormat позиция в Hadoop Ecosystem и их полезность

Я видел различные форматы файлов, используемые при импорте и хранении в HDFS, а также механизмы обработки данных используют эти форматы при выполнении своего собственного набора процедур. Так какая ра