Как распаковывать файлы журнала mongo

Question

Как я уже изучил, файлы журнала, созданные Mongodb, сжимаются с использованием алгоритма мгновенного сжатия. но я не могу распаковать этот сжатый файл журнала. Это дает ошибку при попытке распаковать

поток ошибок отсутствует мгновенным идентификатор

код Python Я использовал распаковывать следующим образом:

import collections 
import bson 
from bson.codec_options import CodecOptions 
import snappy 
from cStringIO import StringIO 
try: 
    with open('journal/WiredTigerLog.0000000011') as f: 
     content = f.readlines() 
     fh = StringIO() 
     snappy.stream_decompress(StringIO("".join(content)),fh) 
     print fh 
except Exception,e: 
    print str(e) 
    pass 

пожалуйста, помогите я не могу сделайте мой путь после этого

Answer 1

Существует две формы сжатия Snappy, основная форма и потоковая форма. Основная форма имеет ограничение на то, что все это должно соответствовать в памяти, поэтому существует потоковая форма, позволяющая сжимать большие суммы данных . Формат потоковой передачи имеет заголовок, а затем поддиапазоны , которые сжимаются. Если заголовок отсутствует, это похоже на то, что, возможно, вы сжали, используя основную форму, и пытаетесь разжать с потоковой формой. https://github.com/andrix/python-snappy/issues/40

Если это так, используйте decompress вместо stream_decompress.

Но если может быть, что данные не будут прессовать:

with open('journal/WiredTigerLog.0000000011') as f: 
    for line in f: 
     print line 

может работать.

Минимальный размер записи журнала для WiredTiger составляет 128 байт. Если запись журнала составляет 128 байт или меньше, WiredTiger не сжимает эту запись. https://docs.mongodb.com/manual/core/journaling/