parquet

2зной

1ответ

Spark Avro для паркета, пишущего нулевые значения в числовых полях

Я сохраняю блок данных искры в качестве файла паркета, а в DataFrame строятся строки, созданные из объекта avro. Точный код для него здесь: https://stackoverflow.com/a/41491999/2440775 Задача, с котор

3зной

2ответ

Как преобразовать таблицу SQL на 500 ГБ в пакет Impala Parquet?

Возможно, это хорошо документировано, но я очень смущен, как это сделать (есть много инструментов Apache). Когда я создаю таблицу SQL, я создаю таблицу, используя следующие команды: CREATE TABLE table

0зной

2ответ

как исправить 2.0 чтение mutli папок паркет как csv

У меня есть некоторые ежедневные данные для сохранения в несколько папок (в основном основанных на времени). теперь у меня есть два формата для хранения файлов, один из которых - паркет, а другой - cs

0зной

1ответ

Паркетная сборка с восстановлением HDFS

Единственное сообщение, которое немного касается темы here, но это не решает мою проблему. Вот проблема, которую мы собираем паркет к локальной резервной копии с: $ hadoop fs -getmerge /dir/on/hdfs /l

1зной

1ответ

Получить файл схемы Parquet без загрузки файла в фрейм данных искры в python?

Есть ли какая-либо библиотека python, которая может быть использована для получения схемы паркетного файла. В настоящее время мы загружаем файл паркета в dataframe в Spark и получаем схему из фрейма д

0зной

1ответ

Как использовать файлы Паркета, созданные с помощью Apache Drill внутри Hive

Apache Drill имеет приятную особенность создания паркетных файлов из множества входящих наборов данных, но, похоже, не так много информации о том, как использовать эти паркетные файлы позже - особенно

0зной

2ответ

Экспорт вложенных полей с недопустимыми символами из Spark 2 в паркет

Я пытаюсь использовать искру 2.0.2 для преобразования файла JSON в паркет. Файл JSON поступает из внешнего источника, и поэтому схема не может быть изменена до ее поступления. Файл содержит карту атри