Создано Hive стол со сжатием LZO, не могу найти файл с расширением .lzo

Question

Я создал таблицу улей, установив следующие свойства на улей командной строке:

SET mapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzopCodec 
SET hive.exec.compress.output=true 
SET mapreduce.output.fileoutputformat.compress=true 

Создать таблицу заявление:

create external table dept_comp1(id bigint,code string,name string) LOCATION '/users/JOBDATA/comp' ; 
insert overwrite table dept_comp select * from src__1; 

Теперь я перехожу к этому местоположению/users/JOBDATA/comp и нахожу файл с именем 000000_0.deflate

Я не уверен, что это сжатый файл, хотя при его загрузке он не читается. Если да, то почему у него нет расширения .lzo?

Если это не так, где я могу найти файл .lzo?

И наконец, как я могу распаковать его с помощью java? Thanks

Answer 1

Вы можете использовать компрессию Snappycodec, если у вас есть намерение сохранить дисковое пространство на hdfs. Существуют некоторые сжатые форматы, такие как .bz, которые являются разделяемыми и устанавливают определенные свойства улья, такие как

SET hive.exec.compress.output=true; 
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 
SET mapred.output.compression.type=BLOCK;