почему алгоритм обратного распространения в нейронных сетях застрял в локальных минимумах?

Question

Я новичок в нейронной сети и читал о backpropagation, но не получал почему алгоритм backpropagation застрял в локальных минимумах?

Answer 1

В локальном минимуме градиент функции ошибки представляет собой нулевой вектор - поэтому backprop - который использует градиент - не может перемещать ваши параметры дальше и заканчивает обучение.