Как поместить много numpy-файлов в один большой файл numpy, файл по файлу?

Question

У меня есть 166600 numpy файлов, я хочу поместить их в один файл numpy: файл по файлу, Я имею в виду, что создание моего нового большого файла должно начинаться с начала: первый файл должен быть прочитан и записан в файл, поэтому большой файл содержит только первый файл, после чего мне нужно прочитать и записать второй файл, поэтому большой файл содержит первые два файла.

import matplotlib.pyplot as plt 
import numpy as np 
import glob 
import os, sys 
fpath ="path_Of_my_final_Big_File" 
npyfilespath ="path_of_my_numpy_files" 
os.chdir(npyfilespath) 
npfiles= glob.glob("*.npy") 
npfiles.sort() 
all_arrays = np.zeros((166601,8000)) 
for i,npfile in enumerate(npfiles): 
    all_arrays[i]=np.load(os.path.join(npyfilespath, npfile)) 
np.save(fpath, all_arrays) 

Answer 1

Если я понимаю ваши вопросы правильно, вы можете использовать numpy.concatenate для этого:

import matplotlib.pyplot as plt 
import numpy as np 
import glob 
import os, sys 
fpath ="path_Of_my_final_Big_File" 
npyfilespath ="path_of_my_numpy_files" 
os.chdir(npyfilespath) 
npfiles= glob.glob("*.npy") 
npfiles.sort() 
all_arrays = [] 
for i, npfile in enumerate(npfiles): 
    all_arrays.append(np.load(os.path.join(npyfilespath, npfile))) 
np.save(fpath, np.concatenate(all_arrays)) 

В зависимости от формы ваших массивов и предполагаемой конкатенации, возможно, потребуется указать параметр concatenateaxis ,