Как сжать большой файл в Python?

Question

Проблема, с которой я столкнулся, - это имя сохраненного файла. Сохраненный файл не имеет имени с исходным/несжатым именем файла. Вместо этого сохраненный файл имеет имя с именем архива (с добавленным расширением «.gz»).

Ожидаемый результат:
file.txt.gz {имя архива}
.... file.txt {сохраненное имя файла}

Фактический результат:
file.txt.gz {имя архива}
.... file.txt.gz {сохраненное имя файла}

Прочтение документации GZIP (https://docs.python.org/2.7/library/gzip.html) пример кода:

import gzip 
import shutil 
with open('file.txt', 'rb') as f_in, gzip.open('file.txt.gz', 'wb') as f_out: 
    shutil.copyfileobj(f_in, f_out) 

Как получить архив для хранения файла с именем «file.txt» вместо «file.txt.gz»?

Answer 1

Вы делаете различие между «сохраненным именем файла» и «именем архива», но для сжатия gzip это неправильный способ думать, потому что gzip не является форматом архива, а просто протоколом сжатия.

Когда вы храните файл «gzip», он не (обязательно) запоминает исходное имя файла. Существует только сжатое содержимое исходного файла, в котором вы можете указать любое имя. Существует соглашение, чтобы дать ему то же имя, что и исходный файл, но с добавлением «.gz». В «GZIP» и «Gunzip» утилиты на системах Unix Предположим, если вы только поставить имя файла:

gzip foo.txt 
# now foo.txt has been deleted, and foo.txt.gz exists 
gunzip foo.txt.gz 
# now you have foo.txt back, and foo.txt.gz has been deleted. 

Если переименовать foo.txt.gz в bar.txt.gz, а затем разархивировать, вы будете get 'goo.txt', если вы используете Unix gunzip (но другие утилиты могут делать что-то другое).

Однако вы можете использовать gzip и gunzip в потоковом режиме, и в этом случае они ничего не знают о именах файлов. Gzip действительно касается сжатия и не заботится о именах файлов.

(Редактировать: gzip может хранить имя файла, но в некоторых случаях он не может (если нет оригинального «файла», только данные) и используется ли это, или нет, когда распаковка полностью необязательна).

Answer 2

Вы должны использовать gzip.GzipFile(); стенограмма gzip.open() не будет делать то, что вы хотите.

Quoth the doc:

Когда fileobj не None, то имя файла аргумент используется только для включения в заголовок файла GZIP, который может включать в исходное имя файла несжатого файла , По умолчанию используется имя файла fileobj, если оно распознано; в противном случае по умолчанию используется пустая строка, и в этом случае исходное имя файла не включается в заголовок.

Попробуйте это:

import gzip 
import shutil 
with open('file.txt', 'rb') as f_in: 
    with open('file.txt.gz', 'wb') as f_out: 
     with gzip.GzipFile('file.txt', 'wb', fileobj=f_out) as f_out: 
      shutil.copyfileobj(f_in, f_out)