Сжатый файл VS несжатый файл в mapreduce. который дает лучшую производительность?

Question

У меня есть файл csv объемом 10 ГБ, и я хочу обработать его в Hadoop MapReduce. У меня есть кластер из 15 узлов (Datanode), и я хочу максимизировать пропускную способность.

Какой формат сжатия следует использовать? или текстовый файл без сжатия всегда даст мне лучший результат по сжатому текстовому файлу. объясните причину.

Я использовал несжатый файл, и это дало мне лучшие результаты по Snappy. Почему это так?

Answer 1

Проблема с компрессией Snappy заключается в том, что она не является разрывающейся, поэтому Hadoop не может разделить входной файл на куски и запустить несколько карт для ввода. Поэтому, скорее всего, ваш 10Gb-файл обрабатывается одним картографом (проверьте его в пользовательском интерфейсе истории приложений). Поскольку hadoop хранит большие файлы в отдельных блоках на разных машинах, некоторые части этого файла даже не размещаются на машине-маркете и должны передаваться по сети. Это, по-видимому, основная причина того, что сжатый файл Snappy работает медленнее обычного текста.

Чтобы избежать проблемы, вы можете использовать сжатие bzip2 или разделить файл на куски вручную и мгновенно сжать каждую часть.