Как создать пользовательскую подключенную нейронную сеть с использованием тензорного потока?

Question

Я хочу создать сеть с фиксированными связями между слоями. Например, Sparsely connected neural network

Я пытался смотреть в функцию в Tensorflow, но я нашел только плотные сети с регуляризаторами, которые не функционируют, как я хочу.

Если это невозможно в тензорном потоке, пожалуйста, предложите другую библиотеку, которая может быть использована. Благодаря!

Answer 1

Вы всегда можете найти обходной путь. Скажем, слой y = xW (Wx также верен), но вы хотите, чтобы некоторые из записей в W всегда были нулями. Вы можете сделать это столбцы:

Для столбца i (или элемента i так y вектор) выхода, y_i = x * D_i * W_i. Матрица D_i является постоянной диагональной матрицей (tf.constant, tf.diag), которая контролирует, какой элемент будет нулями.

Затем вы можете использовать tf.concat, чтобы объединить все y_i с матрицей Y.

Вы можете абстрагировать это на функцию, чья подпись может выглядеть как def sparse_layer(input_layer, gates_matrix, activation_f, ...), которая возвращает выходной слой.