Numpy конвертировать список томов объемного переменного размера в массив 4D

Question

Я работаю над нейронной сетью, где я увеличиваю данные с помощью вращения и изменяя размер каждого входного объема.

Позвольте мне выполнить резервное копирование, вход в сеть - трехмерный том. Я генерирую 3D-тома с переменным размером, а затем накладываю каждый том на нуль так, чтобы входной объем был постоянным. Проверьте here на вопрос, который у меня был с заполнением (теперь разрешено).

Я генерирую 3D-объем переменного размера, добавляю его в список и преобразовываю список в массив numpy. На данный момент, обивка не произошло так, превращая его в 4D кортеж не имеет никакого смысла ...

input_augmented_matrix = [] 
label_augmented_matrix = [] 
for i in range(n_volumes): 
    if i % 50 == 0: 
     print ("Augmenting step #" + str(i)) 
    slice_index = randint(0,n_input) 
    z_max = randint(5,n_input) 
    z_rand = randint(3,5) 
    z_min = z_max - z_rand 
    x_max = randint(75, n_input_x) 
    x_rand = randint(60, 75) 
    x_min = x_max - x_rand 
    y_max = randint(75, n_input_y) 
    y_rand = randint(60, 75) 
    y_min = y_max - y_rand 
    random_rotation = randint(1,4) * 90 
    for j in range(2): 
     temp_volume = np.empty((z_rand, x_rand, y_rand)) 
     k = 0 
     for z in range(z_min, z_max): 
      l = 0 
      for x in range(x_min, x_max): 
       m = 0 
       for y in range(y_min, y_max): 
        if j == 0: 
         #input volume 
         try: 
          temp_volume[k][l][m] = input_matrix[z][x][y] 
         except: 
          pdb.set_trace() 
        else: 
         #ground truth volume 
         temp_volume[k][l][m] = label_matrix[z][x][y] 
        m = m + 1 
       l = l + 1 
      k = k + 1 
     temp_volume = np.asarray(temp_volume) 
     temp_volume = np.rot90(temp_volume,random_rotation) 
     if j == 0: 
      input_augmented_matrix.append(temp_volume) 
     else: 
      label_augmented_matrix.append(temp_volume) 

input_augmented_matrix = np.asarray(input_augmented_matrix) 
label_augmented_matrix = np.asarray(label_augmented_matrix) 

Размеры input_augmented_matrix на данный момент является (N,)

Тогда я подушечка со следующим кодом. ..

for i in range(n_volumes): 
    print("Padding volume #" + str(i)) 
    input_augmented_matrix[i] = np.lib.pad(input_augmented_matrix[i], ((0,n_input_z - int(input_augmented_matrix[i][:,0,0].shape[0])), 
               (0,n_input_x - int(input_augmented_matrix[i][0,:,0].shape[0])), 
               (0,n_input_y - int(input_augmented_matrix[i][0,0,:].shape[0]))), 
           'constant', constant_values=0) 
    label_augmented_matrix[i] = np.lib.pad(label_augmented_matrix[i], ((0,n_input_z - int(label_augmented_matrix[i][:,0,0].shape[0])), 
               (0,n_input_x - int(label_augmented_matrix[i][0,:,0].shape[0])), 
               (0,n_input_y - int(label_augmented_matrix[i][0,0,:].shape[0]))), 
           'constant', constant_values=0) 

на данный момент, размеры еще (N,), даже если каждый элемент списка является постоянным. Например input_augmented_matrix[0] = input_augmented_matrix[1]

В настоящее время я просто просматриваю и создаю новый массив, но он занимает слишком много времени, и я бы предпочел какой-то метод, который автоматизирует это. Я делаю это со следующим кодом ...

input_4d = np.empty((n_volumes, n_input_z, n_input_x, n_input_y)) 
label_4d = np.empty((n_volumes, n_input_z, n_input_x, n_input_y)) 
for i in range(n_volumes): 
    print("Converting to 4D tuple #" + str(i)) 
    for j in range(n_input_z): 
     for k in range(n_input_x): 
      for l in range(n_input_y): 
       input_4d[i][j][k][l] = input_augmented_matrix[i][j][k][l] 
       label_4d[i][j][k][l] = label_augmented_matrix[i][j][k][l] 

Есть ли более чистый и быстрый способ сделать это?

Answer 1

Как я понял, эта часть

k = 0 
for z in range(z_min, z_max): 
    l = 0 
    for x in range(x_min, x_max): 
     m = 0 
     for y in range(y_min, y_max): 
      if j == 0: 
       #input volume 
       try: 
        temp_volume[k][l][m] = input_matrix[z][x][y] 
       except: 
        pdb.set_trace() 
      else: 
       #ground truth volume 
       temp_volume[k][l][m] = label_matrix[z][x][y] 
      m = m + 1 
     l = l + 1 
    k = k + 1 

Вы просто хотите сделать это

temp_input = input_matrix[z_min:z_max, x_min:x_max, y_min:y_max] 
temp_label = label_matrix[z_min:z_max, x_min:x_max, y_min:y_max] 

, а затем

temp_input = np.rot90(temp_input, random_rotation) 
temp_label = np.rot90(temp_label, random_rotation) 

input_augmented_matrix.append(temp_input) 
label_augmented_matrix.append(temp_label) 

Здесь

input_augmented_matrix[i] = np.lib.pad(
    input_augmented_matrix[i], 
    ((0,n_input_z - int(input_augmented_matrix[i][:,0,0].shape[0])), 
    (0,n_input_x - int(input_augmented_matrix[i][0,:,0].shape[0])), 
    (0,n_input_y - int(input_augmented_matrix[i][0,0,:].shape[0]))), 
    'constant', constant_values=0) 

Лучше сделать это, потому что shape свойства дает Вам размер массива по всем измерениям

ia_shape = input_augmented_matrix[i].shape 
input_augmented_matrix[i] = np.lib.pad(
    input_augmented_matrix[i], 
    ((0, n_input_z - ia_shape[0]), 
    (0, n_input_x - ia_shape[1])), 
    (0, n_input_y - ia_shape[2]))), 
    'constant', 
    constant_values=0) 

Я думаю, теперь вы готовы реорганизовать последнюю часть вашего кода с волшебной индексацией NumPy.

Мои общие предложения:

• использовать функции для повторяющихся частей кода, чтобы избежать таких отступов, как в вашем каскаде петель;
• Если вам нужно столько вложенных циклов, подумайте о рекурсии, если вы не можете обходиться без них;
• изучить возможности NumPy в официальном documentation: они действительно интересны;) Например, indexing полезен для этой задачи;
• PyLint и Flake8 упаковки для проверки качества вашего кода.

Вы хотите написать нейронную сеть самостоятельно или просто хотите решить задачу распознавания образов? SciPy библиотека может содержать то, что вам нужно, и она основана на NumPy.