Нормализация уровня всегда лучше, чем нормализация партии для глубокого обучения

Question

Недавно разработанный метод Layer Normalization решает ту же проблему, что и Batch Normalization, но с более низкими вычислительными накладными расходами и не зависит от партии, поэтому ее можно применять последовательно во время обучения и тестирования.

Мой вопрос: нормализация слоя всегда лучше, чем нормализация партии, или есть ли еще некоторые случаи, когда нормализация партии может быть полезной?

Answer 1

В статье «Нормализация уровня» говорится, что пакетная нормализация работает лучше для сверточных нейронных сетей. Следовательно, это зависит от типа приложения. Это дает повод для этого: если каждый нейрон дает аналогичный вклад, то сдвиг и масштабирование будут хорошо работать, однако в коннетах это не так, поскольку на границах изображения активность нейронов очень различна. Поэтому попробуйте применить его только к полностью подключенным слоям и RNN. Хотя, по крайней мере, для первого, BN также может потенциально работать лучше, чем LN, в зависимости от размера партии и типа проблемы.