Как называются следующие типы нейронных сетевых методов?

Question

Приложения нейронной сети, которые я видел, всегда изучают веса их входов и используют фиксированные «скрытые слои».

Но я задаюсь вопрос о следующих методах:

1) фиксированных входах, но скрытые слои уже не фиксированы, в том смысле, что функции ввода их вычисления могут быть переделаны (узнал)

2) фиксированные входы, но скрытые слои больше не фиксированы в том смысле, что, хотя у них есть кластеры, которые вычисляют фиксированные функции (умножение, добавление и т. Д.), Как ALU в процессоре или графическом процессоре) их входов , могут быть изучены веса соединений между ними и между ними и входом (это должно каким-то образом быть эквивалентно 1))

Они могут использоваться для моделирования систем, для которых мы знаем входы и выходные данные, а не как входные данные преобразуются в выход (выясняя, что находится внутри «черного ящика»). Существуют ли такие методы, и если да, то что они называются?

Answer 1

Для части (1) вашего вопроса есть несколько относительно недавних приемов, которые приходят на ум.

Первый - это тип слоя с обратной связью, называемый «maxout», который вычисляет кусочно-линейную выходную функцию своих входов.

Рассмотрим традиционный нейронный сетевой блок с входами d и линейной передаточной функцией. Мы можем описать выход этого устройства как функцию его ввода z (вектор с элементами d) как g(z) = w z, где w - вектор с весовыми значениями d.

В блоке maxout, выход блока описывается как

g(z) = max_k w_k z 

, где w_k является вектором с d весовых значений, и есть k такие весовые векторы [w_1 ... w_k]за единицу. Каждый из весовых векторов в модуле maxout вычисляет некоторую линейную функцию входа, а max объединяет все эти линейные функции в одну выпуклую, кусочно-линейную функцию. Индивидуальные весовые векторы могут быть изучены сетью, так что на самом деле каждое линейное преобразование учится моделировать определенную часть ввода (z).

Подробнее о сетях maxout вы можете узнать по адресу http://arxiv.org/abs/1302.4389.

Второй метод, который был недавно разработан, - это «параметрическое реле». В этом типе устройства все нейроны в сетевом слое вычисляют выход g(z) = max(0, w z) + a min(w z, 0) по сравнению с более традиционной выпрямленной линейной единицей, которая вычисляет g(z) = max(0, w z). Параметр a совместно используется для всех нейронов в слое в сети и изучается вместе с весовым вектором w.

Техника прелу описывается http://arxiv.org/abs/1502.01852.

Было показано, что устройства Maxout работают хорошо для ряда задач классификации изображений, особенно в сочетании с отсева для предотвращения перетренировки.Неясно, являются ли параметрические единицы relu чрезвычайно полезными при моделировании изображений, но прелу-бумага действительно дает отличные результаты в отношении того, что на некоторое время считалось эталонной задачей в классификации изображений.