ReLu с порогом в Лазанье

Question

Я строю простую сверточную сеть, используя пакет Лазанья, и хотел добавить слой ReLu с простым порогом [max (0, x-threshold)], но мог найти только выпрямители без обучаемого параметра (lasagne.layers.NonlinearityLayer) или который имеет параметр, который умножается (lasagne.layers.ParametricRectifierLayer). Оказывается ли этот слой, или я пропущу что-то очевидное?

Благодарим за помощь! Terry

Answer 1

не думаю, что есть. По той причине, что у вас обычно есть обучаемый слой перед relu (например, сверточный или полностью подключенный), который включает предубеждение. Перемещение данных с помощью некоторого смещения эквивалентно наличию порога в relu. Если вы не имеете обучаемый слоя перед РЕЛ, вы можете также явно добавить lasagne.layers.BiasLayer (http://lasagne.readthedocs.org/en/latest/modules/layers/special.html)

Надеется, что это помогает

Michael