Импортирование сжатого двоичного файла bz2 в виде массива numpy

Question

У меня есть сжатый двоичный файл (bb2) bz2, содержащий массив данных. Распаковка его с внешними инструментами, а затем чтение файла, чтобы Numpy работы:

import numpy as np 
dim = 3 
rows = 1000 
cols = 2000 
mydata = np.fromfile('myfile.bin').reshape(dim,rows,cols) 

Однако, так как есть много других файлов, как это я не могу извлечь каждый из них по отдельности заранее. Таким образом, я нашел модуль bz2 в Python, который мог бы непосредственно декомпрессировать его в Python. Однако я получаю сообщение об ошибке:

dfile = bz2.BZ2File('myfile.bz2').read() 
mydata = np.fromfile(dfile).reshape(dim,rows,cols) 

>>IOError: first argument must be an open file 

Очевидно, функция BZ2File не возвращает файл-объект. Знаете ли вы, как правильно читать сжатый файл?

Answer 1

BZ2File возвращает файл-подобный объект (хотя и не фактический файл). Проблема заключается в том, что вы звоните read() на нем:

dfile = bz2.BZ2File('myfile.bz2').read() 

Это читает весь файл в память, как одна большая строка, которую вы затем перейти к fromfile.

В зависимости от ваших версий numpy и python и ваша платформа, чтение из файлового объекта, который не является фактическим файлом, может не сработать. В этом случае вы можете использовать буфер, который вы читаете, с помощью frombuffer.

Так как это:

dfile = bz2.BZ2File('myfile.bz2') 
mydata = np.fromfile(dfile).reshape(dim,rows,cols) 

... или это:

dbuf = bz2.BZ2File('myfile.bz2').read() 
mydata = np.frombuffer(dbuf).reshape(dim,rows,cols) 

(Излишне говорить, что есть множество других вариантов, которые могли бы быть лучше, чем чтение всего буфера в память Но если ваш файл не слишком большой, это будет работать.)