parquet

-3зной

1ответ

Недействительная схема паркетного улья: многократная групповая матрица

Большинство наборов данных нашей продукции В настоящее время кластер Hadoop хранится в формате AVRO + SNAPPY. Я слышал много хорошего о Парке и хочу попробовать. Я последовал за this web page, чтобы и

10зной

2ответ

Обновление значений в файле паркета apache

У меня есть довольно массивный файл паркета, где мне нужно изменить значения для одного из столбцов. Один из способов сделать это - обновить эти значения в исходных текстовых файлах и воссоздать файл

1зной

1ответ

Как получить размер памяти объекта ParquetWriter в памяти до его закрытия и записи на диск?

Я читаю сообщения Avro из потока и записываю их в файл Parquet, используя паркет.hadoop.ParquetWriter. Я пытаюсь иметь размер выходных файлов выше порогового предела. проблема в том, что ParquetWriter

42зной

7ответ

Avro v/s Parquet

Я планирую использовать один из файлов формата hadoop для моего проекта, связанного с hadoop. I понимать паркет эффективен для запроса на основе столбцов и для автоматического сканирования или когда н

3зной

1ответ

Spark: Hive Query

У меня есть файл журнала, а первым столбцом будет мой раздел в таблице Hive. logSchemaRDD.registerTempTable("logs") hiveContext.sql("insert overwrite table logs_parquet PARTITION(create_date=sel

0зной

1ответ

Создание таблицы улей над сложным паркетным файлом

Я пытаюсь поместить таблицу улей поверх таблицы паркета, которую я создал на основе следующего содержимого json: {"user_id": "4513", "providers": [ { "ID": "4220", "имя": "dbmvl", "поведение": { "b1":

1зной

1ответ

чехол класса от паркета с использованием Спарк

Я работал через некоторый пример кода, о том, как хранить данные в паркетной файле и реализован он в значительной степени, как это показано в programming guide: val schema = StructType( List(Struc