2017-02-06 6 views

ответ

1

Он реализовать себя стабилизированный от:

Self-stabilized deep neural network," P. Ghahremani and J. Droppo, ICASSP 2016 

И здесь прямую ссылку на бумагу: https://www.microsoft.com/en-us/research/wp-content/uploads/2016/11/SelfLR.pdf

+0

Спасибо за обратную связь. Мы обновим учебное пособие с дополнительной информацией. –

+0

Спасибо. Просто прочитайте газету. Похоже на отличную функцию. Насколько я понимаю, это может быть добавлено к любой глубокой нейронной сети, а не только к повторяющимся нейронным сетям, верно? Кроме того, лучший способ использовать его - включить его после каждого слоя, аналогично пакетной нормализации? Это заменит пакетную нормализацию? –

+0

Стабилизатор, по моему опыту, всегда приводил к по крайней мере некоторому улучшению скорости конвергенции. Тем не менее, нормализация партии также всегда была более эффективной; но пакетная нормализация не может быть эффективно использована внутри повторяющихся циклов. Например, в сценарии обработки языка с несколькими повторяющимися слоями LSTM моим ориентиром будет: (1) использовать BatchNormalization между слоями; (2) использовать стабилизатор внутри повторяющейся функции шага (по h и c), но не на входе (x), поскольку это уже нормализовано BatchNorm. –

 Смежные вопросы

  • Нет связанных вопросов^_^