Можем ли мы заархивировать каталог в hdfs?

Question

Я думал, можно ли почерпнуть каталог на hdfs, а затем привести его в локальную систему. Есть ли способ сделать это?

Любая помощь будет оценена по достоинству.

спасибо.

Answer 1

Вы можете создать таблицу улого & сделать вставку перезаписи после установки следующих свойств:

set mapred.output.compress=true; 
set hive.exec.compress.output=true; 
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; 
set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec; 

Но лучше подход включить сжатие в работе, которая создает файлы в первую очередь.

ПРИМЕЧАНИЕ: Хотя я назвал сжатие как Gzip, лучше использовать какой-то расщепляемый кодек, например snappy или lzo.