Урон внезапно увеличивается с помощью Adam Optimizer в Tensorflow

Question

Я использую CNN для задачи регрессии. Я использую Tensorflow, а оптимизатором является Adam. Кажется, что сеть идеально сходится до одной точки, где потеря внезапно увеличивается вместе с ошибкой проверки. Вот потери участки этикетки и вес отделенных (Оптимизатор запускаемый на сумме них)

я использую l2 потерю веса для регуляризации, а также для этикеток. Я применяю случайность данных обучения. В настоящее время я пытаюсь выполнить RSMProp, чтобы увидеть, изменилось ли поведение, но для воспроизведения ошибки требуется не менее 8 часов.

Я хотел бы понять, как это может произойти. Надеюсь, ты поможешь мне.

Answer 1

Мой опыт работы за последние месяцы: Adam очень прост в использовании, потому что вам не обязательно играть с начальной скоростью обучения, и он почти всегда работает. Однако, когда приходят к конвергенции, Адам действительно не сражается с решением, а смещается вокруг при более высоких итерациях. В то время как SGD дает почти идеальный график потерь и, кажется, сходится намного лучше при более высоких итерациях. Но изменение некоторых параметров установки требует корректировки параметров SGD, или вы получите NaNs ... Для экспериментов на архитектурах и общих подходах я одобряю Адама, но если вы хотите получить лучшую версию одной выбранной архитектуры, вы должны использовать SGD и, по крайней мере, сравнивать решения.

Я также заметил, что хорошая начальная настройка SGD (скорость обучения, распад веса и т. Д.) Сходится так же быстро, как и с помощью Адама, в настройках для моей установки. Надеюсь, это поможет некоторым из вас!

РЕДАКТИРОВАТЬ: Обратите внимание, что эффекты в моем первоначальном вопросе - это NOT нормально даже с Адамом. Похоже, у меня была ошибка, но я не могу запомнить эту проблему.