Ошибка памяти Python с f.read

Question

У меня проблема с памятью в python «Ошибка памяти Python». На самом деле, я пытаюсь восстановить данные из большого .bson файла, используя этот скрипт:

with open('xxxx.bson','rb') as f: 
    data = bson.decode_all(f.read()) 

сообщение об ошибке:

data = bson.decode_all(f.read()) 
MemoryError 

спасибо за любую помощь вы можете предоставить

Answer 1

Вы можете уменьшить память потребление, переключившись на decode_file_iter, которое 1) требует ввода файла (а не его содержимого), а 2) возвращает генератор.

Answer 2

Я использую эту библиотеку: https://github.com/bauman/python-bson-streaming

from bsonstream import KeyValueBSONInput 
f = open("xxxx.bson", 'rb') 
stream = KeyValueBSONInput(fh=f) 
for dict_data in stream: 
    print dict_data 
f.close()