Бинарный буфер в Python

Question

В Python вы можете использовать StringIO для файлового буфера для символьных данных. Memory-mapped file в основном делает аналогичную вещь для двоичных данных, но для этого требуется файл, который используется в качестве основы. У Python есть объект файла, который предназначен для двоичных данных и является только памятью, эквивалентной ByteArrayOutputStream Java?

В этом случае я хочу создать ZIP-файл в памяти, а ZipFile требует файлового объекта.

Answer 1

Вы, вероятно, ищете io.BytesIO класса. Это работает точно так же, как StringIO за исключением того, что он поддерживает двоичные данные:

from io import BytesIO 
bio = BytesIO(b"some initial binary data: \x00\x01") 

StringIO выбросит TypeError:

from io import StringIO 
sio = StringIO(b"some initial binary data: \x00\x01") 

Answer 2

Посмотрите на пакет struct: https://docs.python.org/library/struct.html, он позволяет интерпретировать строки как упакованные двоичные данные.

Не уверен, что это полностью ответит на ваш вопрос, но вы можете использовать struct.unpack() для преобразования двоичных данных в объекты python.

 

import struct 
f = open(filename, "rb") 
s = f.read(8) 
x, y = struct.unpack(">hl", s) 
 

INT в этом примере, то «>» говорит читать тупоконечник «Н» читает 2-байтовый короткие, и «л» для 4-байта длиной. вы можете, очевидно, изменить их на все, что вам нужно, чтобы читать из двоичных данных ...

Answer 3

Пока вы не пытаетесь поместить какие-либо данные в unicode в свой StringIO, и вы будете осторожны, НЕ используйте cStringIO, вы должны быть хорошо.

В соответствии с документацией StringIO, при условии, что вы сохраните либо в Юникоде, либо в 8 бит, все будет работать так, как ожидалось. Предположительно, StringIO делает что-то особенное, когда кто-то делает f.write(u"asdf") (которого ZipFile не делает, насколько мне известно). Так или иначе;

import zipfile 
import StringIO 

s = StringIO.StringIO() 
z = zipfile.ZipFile(s, "w") 
z.write("test.txt") 
z.close() 
f = file("x.zip", "w") 
f.write(s.getvalue()) 
s.close() 
f.close() 

работает так, как ожидалось, и нет никакого различия между файлом в полученном архиве и исходном файле.

Если вы знаете о конкретном случае, когда этот подход не работает, я бы очень интересно услышать об этом :)