parquet

0зной

1ответ

Невозможно создать таблицу паркета паркета с типом данных столбца 'STRING'

Я использую hive-0.12. Я успешно создал паркетную таблицу, используя следующий запрос. hive> create table ptest1 (a INT, b DOUBLE) ROW FORMAT SERDE 'parquet.hive.serde.ParquetHiveSerDe' stored as IN

1зной

3ответ

Инкрементное добавление данных в таблицы Паркета в S3

Я хотел бы сохранить копию данных моего журнала в Parquet on S3 для специальной аналитики. Я в основном работаю с Parquet через Spark и, похоже, предлагает операции для чтения и записи целых таблиц че

1зной

1ответ

Доступ Impala к существующим таблицам Паркета в S3

У меня есть несколько таблиц Паркета, которые были созданы с помощью SparkSQL, хранящихся в S3. Я также хотел бы использовать их у Импалы. У меня также есть экземпляр Impala, работающий на CDH5, с кот

0зной

2ответ

Scala: Spark sqlContext query

У меня только 3 события (3-я колонка) 01, 02, 03 в моем файле. схема является unixTimestamp | идентификатор | типСобытия | date1 | date2 | date3 639393604950|1001|01|2015-05-12 10:00:18||| 6393936049

13зной

3ответ

Как я могу прочитать паркет в R и преобразовать его в R DataFrame?

Я хочу обработать файлы Apache Parquet (в моем случае, созданные в Spark) на языке программирования R. Доступен ли считыватель R? Или выполняется работа над одним? Если нет, то какой был бы наиболее ц

0зной

1ответ

Преобразование Json в Avro в json-файле с различными полями

У меня есть проблема переделать файл JSON в avro format. Но в этом случае данные JSON имеет различные значения полей, такие как: {"a":"x1", "b":"x2": "c":"x3"} {"b":"x4", "d":"x5"} У меня есть