выяснить размер необработанного паркета?

Question

есть ли способ выяснить, что размер несжатого файла для файла паркета сжат в мгновенном режиме? У меня много паркетных файлов в HDFS-каталоге, и я пытаюсь выяснить, есть ли способ вычислить размер файла, если эти данные были несжаты.

Answer 1

Вы можете просто распаковать данные и посмотреть, сколько места они потребляют. См. How to decompress the hadoop reduce output file end with snappy?

Возможно, есть более элегантный способ, которым я не знаю