Сохранение файла gzip с pydoop в python

Question

Я использую pydoop для чтения и записи файлов в pyspark. Я хочу написать свою работу в формате gzip. Мой текущий код выглядит следующим образом:

def create_data_distributed(workerNum,outputDir, centers, noSamples = 10, var = 0.1): 
numCenters = centers.shape[0] 
dim = centers.shape[1] 
fptr_out = hdfs.hdfs().open_file(os.path.join(outputDir, ("part-%05d" % workerNum)) + ".txt", "w") 
for idx in range(noSamples): 
    idxCenter = np.random.randint(numCenters) 
    sample = centers[idxCenter] + np.random.normal(size=(1,dim)) 
    # output the sample. Need to 
    fptr_out.write("%d, " % idxCenter) 
    for i in range(len(sample[0])): 
     fptr_out.write("%f " %(sample[0][i])) 
     if (i < (len(sample[0])-1)): 
      fptr_out.write(",") 
    fptr_out.write("\n") 
fptr_out.close() 
return 

Как мне сделать этот код, чтобы открыть и написать файл GZIP, а не обычный файл?

Спасибо !!!

Answer 1

Я бы ожидать, что вы могли бы сделать это, обернув возвращаемый файл-подобный объект:

fptr_out = hdfs.hdfs().open_file(...) 

С gzip.GzipFile как:

hdfs_file = hdfs.hdfs().open_file(...) 
fptr_out = gzip.GzipFile(mode='wb', fileobj=hdfs_file) 

Обратите внимание, что вы должны вызвать близко от обоих:

fptr_out.close() 
hdfs_file.close() 

Это намного более ясно с with:

output_filename = os.path.join(outputDir, ("part-%05d" % workerNum)) + ".txt.gz" 
with hdfs.hdfs().open_file(output_filename, "wb") as hdfs_file: 
    with gzip.GzipFile(mode='wb', fileobj=hdfs_file) as fptr_out: 
     ... 

Это все непроверено. Используйте на свой риск.