Есть ли модуль python для сопоставления регулярных выражений в zip-файлах

Question

У меня есть более миллиона текстовых файлов, сжатых в 40 ZIP-файлов. У меня также есть список из 500 имен моделей телефонов. Я хочу узнать количество случаев, когда конкретная модель упоминалась в текстовых файлах.

Есть ли какой-либо модуль python, который может выполнять регулярное сравнение файлов без их разархивирования. Есть ли простой способ решить эту проблему без распаковки?

Answer 1

Там нет ничего, что будет автоматически делать то, что вы хотите.

Однако есть модуль zipfile для python, который сделает это простым в использовании. Вот как перебирать строки в файле.

#!/usr/bin/python 

import zipfile 
f = zipfile.ZipFile('myfile.zip') 

for subfile in f.namelist(): 
    print subfile 
    data = f.read(subfile) 
    for line in data.split('\n'): 
     print line 

Answer 2

Вы можете прокручивать zip-файлы, читая отдельные файлы с помощью zipfile-модуля и запуская регулярное выражение на них, устраняя возможность разархивировать все файлы одновременно.

Я уверен, что вы не можете запускать регулярное выражение по заархивированным данным, по крайней мере, не имеющим смысла.

Answer 3

Для доступа к содержимому zip-файла вам необходимо разархивировать его, хотя пакет zipfile делает это довольно простым, так как вы можете разархивировать каждый файл в архиве по отдельности.

Python zipfile module

Answer 4

Не правда ли (по крайней мере, теоретически) возможно, для чтения в кодировании Хаффмана почтового индекса, а затем перевести регулярное выражение в код Хаффмана? Может ли это быть более эффективным, чем сначала сжимать данные, а затем запускать регулярное выражение?

(Примечание: я знаю, что это будет не так просто: вам также придется иметь дело с другими аспектами кодирования ZIP — макета файла, структур блоков, обратных ссылок —, но можно представить, что это может быть справедливо легкий.)

EDIT: Также обратите внимание, что, вероятно, гораздо разумнее использовать решение zipfile.