0
Я читаю учебник CNTK 204: Sequence to Sequence Networks with Text Data. Используется функция cntk.blocks.Stabilizer(), но в настоящее время нет документации для этой функции. Кто-нибудь знает, что он делает?Что делает функция cntk.blocks.Stabilizer() в CNTK?
Спасибо за обратную связь. Мы обновим учебное пособие с дополнительной информацией. –
Спасибо. Просто прочитайте газету. Похоже на отличную функцию. Насколько я понимаю, это может быть добавлено к любой глубокой нейронной сети, а не только к повторяющимся нейронным сетям, верно? Кроме того, лучший способ использовать его - включить его после каждого слоя, аналогично пакетной нормализации? Это заменит пакетную нормализацию? –
Стабилизатор, по моему опыту, всегда приводил к по крайней мере некоторому улучшению скорости конвергенции. Тем не менее, нормализация партии также всегда была более эффективной; но пакетная нормализация не может быть эффективно использована внутри повторяющихся циклов. Например, в сценарии обработки языка с несколькими повторяющимися слоями LSTM моим ориентиром будет: (1) использовать BatchNormalization между слоями; (2) использовать стабилизатор внутри повторяющейся функции шага (по h и c), но не на входе (x), поскольку это уже нормализовано BatchNorm. –