parquet

2зной

1ответ

Цель: создать небольшую структуру ETL, чтобы взять огромный CSV и выгрузить его в RDB (скажем, MySQL). Текущий подход, о котором мы думаем, состоит в том, чтобы загрузить csv с использованием искры в

0зной

1ответ

Дублирование паркета и данных

Это связано с тем, что файлы паркета делают запросы OLAP быстрее причиной его столбчатого формата, а на другой стороне дублируется дубликат (данные необработанных данных + паркет). , даже если паркет

8зной

1ответ

Использование таблицы улей над паркетом в Pig

Я пытаюсь создать таблицу Hive со схемой строка, строка, double в папке, содержащей два файла Parquet. Первая схема файла паркета - строка, строка, double, а схема второго файла - строка, двойная стро

0зной

4ответ

- предикат Parquet работает на S3, используя Spark non EMR?

Просто интересно, работает ли предикат Parquet также на S3, а не только на HDFS. В частности, если мы используем Spark (без EMR). Дальнейшие разъяснения могут быть полезны, поскольку это может включат

0зной

2ответ

как разрешить разницу дат между текстовым файлом в формате куста и форматом паркетного файла

Мы создали одну внешнюю таблицу паркета в улье, вставили существующие данные текстового файла во внешнюю таблицу паркета, используя вставку переписать. , но мы наблюдали дату из существующего текстово

12зной

2ответ

Добавить новые данные в файлы секционированного паркета

Я пишу процесс ETL, где мне нужно будет читать часовые файлы журналов, разбивать данные и сохранять их. Я использую Spark (в Databricks). Файлы журнала - это CSV, поэтому я читаю их и применяю схему,

0зной

1ответ

Внешняя таблица из файлов сжатого паркета (например, gz.parquet) в Hive/Impala

Как создать внешнюю таблицу из коллекции сжатых паркетных файлов (например, gz.parquet) в Hive/Impala?

1зной

1ответ

стратегия хранения файла OCR/Parquet

Предположим, что размер блока HDFS равен 256 МБ и что мне нужно хранить 20 ГБ данных в файлах (OCR) OCR/Parquet, лучше ли хранить все данные на одном OCR/Parquet File, или лучше хранить его во многих