parquet

7зной

1ответ

Hive не читает файлы секционированного паркета, созданные Spark

У меня возникла проблема с чтением файлов секционированных паркетов, созданных Spark in Hive. Я могу создать внешнюю таблицу в улье, но когда я пытаюсь выбрать несколько строк, куст возвращает только

2зной

1ответ

Отображение логического типа файла паркета

В файлах паркета данные хранятся в небольшом количестве примитивных типов. Однако существует концепция логических типов более высокого порядка (так называемых преобразованных типов). Например, DECIMAL

0зной

1ответ

Может ли Pig использоваться для LOAD из таблицы Parquet в HDFS с разделением и добавлять разделы в виде столбцов?

У меня есть секция с разделением на Импала, хранящаяся как Паркет. Могу ли я использовать Pig для загрузки данных из этой таблицы и добавления разделов в виде столбцов? В таблице Паркет определяется к

7зной

2ответ

Чтение DataFrame из секционированного паркетного файла

Как читать разделенный паркет с условием как dataframe, это работает отлично, val dataframe = sqlContext.read.parquet("file:///home/msoproj/dev_data/dev_output/aln/partitions/data=jDD/year=2015/month=

5зной

1ответ

паркетная версия, используемая для записи файла

Есть ли способ узнать, какая версия паркета использовалась для написания паркетного файла в HDFS? Я пытаюсь посмотреть, были ли написаны различные файлы с использованием той же версии паркета или разн

1зной

1ответ

Внешняя таблица не обновляется из паркетных файлов, написанных искровым потоком

Я использую искрообразование для записи агрегированного вывода в виде паркетных файлов в hdfs с помощью SaveMode.Append. У меня есть внешняя таблица создана как: CREATE TABLE if not exists rolluptable

2зной

1ответ

выяснить размер необработанного паркета?

есть ли способ выяснить, что размер несжатого файла для файла паркета сжат в мгновенном режиме? У меня много паркетных файлов в HDFS-каталоге, и я пытаюсь выяснить, есть ли способ вычислить размер фай