parquet

2зной

2ответ

Загрузка или указание нескольких паркетных дорожек для анализа данных с помощью улья или предоба

У меня есть пара искровых заданий, которые производят паркетные файлы в AWS S3. Время от времени мне нужно запускать некоторые специальные запросы на с заданным диапазоном дат этих данных. Я не хочу д

-1зной

1ответ

Улей Огромный размер данных увеличивается с преобразования avro в паркет

Я хотел бы преобразовать данные дня avro (~ 2 ТБ) в паркет. Я запустил запрос на улей, и данные успешно преобразованы в паркет. Но размер данных стал 6 ТБ. Что случилось бы, чтобы данные стали в три р

0зной

1ответ

Магазин около 120 Структура данных на основе столбцов на Spark Parquet Scala

Я пытаюсь сохранить плоскую структуру данных с примерно 120 столбцами в виде файла Parquet в Spark с использованием Scala. Вот как я решил заняться этим, нужно немного предложений или идей, чтобы сдел

2зной

1ответ

Паркет: разница между метаданными и common_metadata

При записи файла метаданных, то ThriftParquetWriter фактически генерирует два файла: _metadata и _common_metadata https://github.com/Parquet/parquet-mr/blob/master/parquet-hadoop/src/main/java/parquet

11зной

2ответ

Анализ большого сигнала данных: лучший способ хранения данных запроса и запроса

Я собираюсь провести анализ сигналов с помощью Hadoop/Spark, и мне нужна помощь в том, как структурировать весь процесс. Сигналы теперь хранятся в базе данных, что мы будем читать с Sqoop и будут прео

48зной

3ответ

Каковы достоинства и недостатки паркетного формата по сравнению с другими форматами?

Характеристики Apache паркета: Самоописание Столбчатого формат Язык независимого По сравнению с Avro, последовательности файлов, RC файл и т.д. Я хочу обзор форматов. Я уже прочитал: How Impala Works