Как проверить каталог файлов для gzip и распаковать gzip-файлы в Python с помощью zcat?

Question

Я нахожусь на своей второй неделе Python, и я застрял в каталоге zipped/unzipped logfiles, который мне нужно разобрать и обработать.

В настоящее время я делаю это:

import os 
import sys 
import operator 
import zipfile 
import zlib 
import gzip 
import subprocess 

if sys.version.startswith("3."): 
    import io 
    io_method = io.BytesIO 
else: 
    import cStringIO 
    io_method = cStringIO.StringIO 

for f in glob.glob('logs/*'): 
    file = open(f,'rb')   
    new_file_name = f + "_unzipped" 
    last_pos = file.tell() 

    # test for gzip 
    if (file.read(2) == b'\x1f\x8b'): 
     file.seek(last_pos) 

    #unzip to new file 
    out = open(new_file_name, "wb") 
    process = subprocess.Popen(["zcat", f], stdout = subprocess.PIPE, stderr=subprocess.STDOUT) 

    while True: 
     if process.poll() != None: 
     break; 

    output = io_method(process.communicate()[0]) 
    exitCode = process.returncode 


    if (exitCode == 0): 
     print "done" 
     out.write(output) 
     out.close() 
    else: 
     raise ProcessException(command, exitCode, output) 

который я "сшиты" вместе с помощью этих SO ответы (here) и (here · блоги, ·)

Однако, это не похоже на работу , потому что мой тестовый файл составляет 2,5 ГБ, а скрипт пережевывает его на 10 + мин плюс я не уверен, что то, что я делаю, все равно правильно.

Вопрос:
Если я не хочу использовать модуль GZIP и нужен де-компресс кусок по-кусок (фактические файлы> 10GB), как я могу разархивировать и сохранить в файл с помощью zcat и подпроцесс в Python?

Спасибо!

Answer 1

Это должен прочитать первую строку каждый файл в подкаталоге бревен, распаковка в соответствии с требованиями:

#!/usr/bin/env python 

import glob 
import gzip 
import subprocess 

for f in glob.glob('logs/*'): 
    if f.endswith('.gz'): 
    # Open a compressed file. Here is the easy way: 
    # file = gzip.open(f, 'rb') 
    # Or, here is the hard way: 
    proc = subprocess.Popen(['zcat', f], stdout=subprocess.PIPE) 
    file = proc.stdout 
    else: 
    # Otherwise, it must be a regular file 
    file = open(f, 'rb') 

    # Process file, for example: 
    print f, file.readline()