Запрос файла Orc на s3n сумасшедший медленный

Question

Пока я запрашиваю свои файлы ORC на hdfs, все хорошо и очень быстро - но когда я хочу запросить данные, пока он хранится на S3, он сумасшедший медленный, и запросы невозможно закончить.

Я использую Улей 0,12 моей создать заявление выглядит следующим образом

CREATE external TABLE externalORCFiles (... , ... , ...) 
STORED AS ORC 
location 's3n://...'; 

это мне кажется, что там была та же проблема с ORC + Presto + S3 (see here), но я не мог найти что-то подобное для Улей

Answer 1

S3 - очень хорошее пространство для хранения, когда дело доходит до холодного хранения. Однако это не очень подходит для пространства HDFS. Данные S3 перемещаются со скоростью около 50 Мбит/с (может быть более или менее, но намного медленнее, чем HDFS). Это выбор для вас, чтобы выбрать между скоростью & стоимости.