parquet

2зной

1ответ

Как объединить небольшие паркетные файлы с Spark?

У меня есть таблица Hive, в которой много мелких паркетных файлов, и я создаю из нее пакет данных Spark, чтобы выполнить некоторую обработку с использованием SparkSQL. Поскольку у меня большое количес

2зной

1ответ

Как читать паркетную схему в программе non mapreduce java

Есть ли способ прямого чтения имен столбцов файла Паркета, получая метаданные без mapreduce. Приведите пример. Я использую snappy в качестве кодека сжатия.

3зной

1ответ

получить размер файла паркета в HDFS для перераспределения с помощью Spark в Scala

У меня есть много каталогов файлов паркета на HDFS, которые содержат несколько тысяч небольших (большинство < 100kb) паркетных файлов каждый. Они замедляют работу Spark, поэтому я хочу их комбинироват

1зной

2ответ

Как ограничить размер паркетного файла паркетным столом в улье?

Я пытаюсь создать паркетный стол в улье. Я могу создать его, но когда я запустил таблицу анализа таблицы mytable; я получить этот результат: numfiles = 800, NumRows = 10000000, TotalSize = 18909876 ra

3зной

1ответ

Текстовый файл Hdfs в формат паркета с использованием карты уменьшить работу

Я пытаюсь преобразовать текстовый файл hdfs в формат Паркета, используя сокращение карты в java. Честно говоря, я начинаю это и не могу найти прямых ссылок. Должно ли преобразование быть текстовым фай