parquet

2зной

1ответ

Можно ли загружать паркетную таблицу непосредственно из файла?

Если у меня есть файл двоичных данных (его можно преобразовать в формат csv), есть ли способ загрузить паркетную таблицу непосредственно из него? Многие учебные пособия показывают загрузку csv-файла в

9зной

2ответ

как читать файл паркета, в автономном java-коде?

паркетные документы из клаудера показывают примеры интеграции со свиньей/ульем/импалой. но во многих случаях я хочу прочитать сам файл паркета для целей отладки. есть ли простой читатель java для чтен

17зной

2ответ

Указатель в парке

Я хотел был бы иметь возможность сделать запрос быстрого диапазона на таблице паркета. Количество возвращаемых данных очень мало по сравнению с общим размером, но из-за того, что нужно выполнить полно

0зной

1ответ

Проблема с настройкой нескольких проекционных изображений для AvroParquetInputFormat

Я использую AvroParquetInputFormat. Usecase требует сканирования нескольких входных каталогов, и каждый каталог будет иметь файлы с одной схемой. Поскольку класс AvroParquetInputFormat не мог обрабаты

0зной

3ответ

Как написать несколько файлов в mapper в Hadoop map/уменьшить?

У меня есть карта, сокращающая работу без какого-либо редуктора, который анализирует входные файлы и записывает некоторые данные на диске в картографе в формате Паркет. Так как эта работа может приним

3зной

3ответ

Как указать схему для данных паркета в улье 0.13+

У меня есть файл паркета, который я сделал путем преобразования некоторого файла данных avro. Файл содержит сложные записи. Кроме того, у меня есть схема Avro этих записей, а также эквивалентная схема

0зной

1ответ

Как использовать паркет в моей нынешней архитектуре?

Моя нынешняя система архивирована таким образом. Лог-парсер будет анализировать необработанный журнал каждые 5 минут с форматом TSV и выводить на HDFS. Я создал таблицу Hive из TSV-файла из HDFS. Из н

2зной

1ответ

Каков наилучший способ создания объекта Scala для Parquet?

У меня есть класс класса Scala, созданный из JSON, скажем, класс case Person (возраст: Int, имя: String). Я знаю, что не могу писать JSON в Паркет. Могу ли я написать класс case непосредственно в Парк