2015-11-16 5 views
0

Я проверил этот блог https://code.facebook.com/posts/370832626374903/even-faster-data-at-the-speed-of-presto-orc/.Преобразование набора данных из формата текстового файла в формат «presto-orc» для повышения производительности prestoDB

Как я могу использовать этот формат «pre-orc»?

У меня есть данные в S3 в текстовом формате. Я хочу переписать в формате «presto-orc».

Я использую куст вообще для записи данных в ORC/RCFile/Parquet.

+2

ли вы на самом деле читать этот блог? Речь идет о пользовательском ** читателе ** * (т. Е. Пользовательском де-сериализаторе, DE в SERDE) * с оптимизацией, характерной для шаблонов запросов Presto. Формат данных ** не изменяется !!! –

ответ

0

Не существует специального формата «presto-orc». Presto имеет оптимизированный считыватель для стандартного формата ORC (и варианта DWRF для Facebook).

Вы можете записать файлы данных ORC с помощью любой программы, которая поддерживает его: улей, Presto, Спарк и т.д.