Как проверить, правильно ли сходится градиентный спуск с несколькими переменными?

Question

В линейной регрессии с 1 переменной я могу четко видеть линию предсказания сюжета, и я вижу, правильно ли она соответствует данным тренировки. Я просто создать сюжет с 1 переменными и выводом и построить линию прогнозирования на основе найденных значений Theta 0 и Theta 1. Таким образом, это выглядит следующим образом:

---

Но как я могу проверить достоверность градиента результаты спуска выполняются по нескольким переменным/функциям. Например, если число функций равно 4 или 5. Как проверить правильность работы и найдены ли значения всех тэтов? Должен ли я полагаться только на функцию стоимости, построенную по количеству выполненных итераций?

Answer 1

Градиентный спуск сходится к локальному минимуму, что означает, что первая производная должна быть равна нулю, а вторая - неположительной. Проверка этих двух матриц подскажет, сходился ли алгоритм.

Answer 2

Мы можем думать о градиентном спуске как о чем-то решении проблемы f'(x) = 0 где f' обозначает градиент f. Для проверки этой проблемы конвергенции, насколько я знаю, стандартный подход для вычисления расхождения на каждой итерации и посмотреть, если он стремится к 0.
То есть, проверьте ||f'(x)|| (или квадрат) сходится к 0.

Answer 3

Есть некоторые вещи, которые вы можете попробовать.

1) Проверьте, не улучшается ли ваша функция затрат/энергии по мере продвижения вашей итерации. Используйте что-то вроде «abs (E_after - E_before) < 0,00001 * E_before», то есть проверьте, является ли относительная разница очень низкой.

2) Проверьте, не изменились ли ваши переменные. Вы можете выбрать очень похожую стратегию, как показано выше, чтобы проверить это.

На самом деле нет идеального способа полностью убедиться, что ваша функция сходится, но некоторые из вещей, упомянутых выше, - это то, что обычно пробуют люди.

Удачи вам!