bzip2

2зной

1ответ

Загрузка файла TAR и извлечение его содержимого * bz2 в sdout с помощью bzcat

После this question, я пытаюсь загрузить 40 GB TAR file с jz-файлами, сжатыми в bz2, в PostgreSQL эффективным образом. В соответствии с указанным выше ответом, я пытаюсь отделить процесс и использоват

2зной

2ответ

Как сжатый файл читается во время декомпрессии?

Каким образом файл с gzip размером 5 ГБ считывается в память и сжимается? Должен ли весь файл считываться в память перед декомпрессией? Мой вопрос связан с обработкой gziped-файлов в Hadoop, который н

2зной

2ответ

Как распаковать BZ2 непосредственно в Popen stdin в Python 2.7?

Сценарий: PCAP файл сжат с BZIP2, что я хотел бы проанализировать с tcpdump и перечислить результаты по строкам, в пределах Python 2.7. Вот что я придумал с верхней части моей головы: def tcpdump(file

0зной

1ответ

Java POST multipart/form-data, содержащие сжатые части файла json и bz2

Так что я столкнулся с проблемой, когда мне нужно ПОСТИТЬ файл bzip2 через приложение java. У меня нет проблем с выполнением многочастных сообщений или использованием обычных файлов (см. Третий пример

3зной

1ответ

библиотека hadoop bz2 в работе Spark не работает при работе на нескольких ядрах

У меня в настоящее время есть проблема с Spark и чтением файлов bz2. Я использую Spark 1.2.0 (prebuilt для hadoop 2.4, но файлы в настоящее время читаются только локально). Для тестирования есть ~ 150

1зной

1ответ

В чем разница между инкрементным и однократным сжатием?

Я пытаюсь использовать пакеты bz2 и/или lzma в python. Я пытаюсь сжать дамп базы данных в формате csv, а затем поместить его в файл zip. Я получил его для работы с одноразовым сжатием с обоими пакетам