Почему производная от функции используется для вычисления Local Minimum вместо фактической функции?

Question

В проблеме регрессии машинного обучения, почему локальный минимум вычисляется для производной функции вместо фактической функции?

Пример: http://en.wikipedia.org/wiki/Gradient_descent

Алгоритм градиентного спуска применяется, чтобы найти локальный минимум функции $$

f(x)=x^4−3x^3+2, ----(A) 

с производной

f'(x)=4x^3−9x^2. ----(B) 

здесь, чтобы найти локальный минимум с помощью градиентного спуска для функции (A) они использовали производную функцию (A), которая является функцией (B).

Answer 1

Причина в том, что функция вогнута (или выпуклая, если вы делаете максимизацию --- эти проблемы эквивалент), вы знаете, что существует один минимум (максимум). Это означает, что существует единственная точка, где градиент равен нулю. Существуют методы, которые используют эту функцию, но если вы можете вычислить градиент, вы можете сблизиться гораздо быстрее, потому что можете подумать о градиенте, дающем вам информацию о том, как далеко вы из оптимального.

Как и Gradient Descent, существует метод оптимизации, известный как Newton's method, для которого требуется вычислить вторую производную (метод Гессиана в многовариантной оптимизации). Это сходится еще быстрее, но требует от вас возможности инвертировать гессиан, что невозможно, если у вас много параметров. Итак, есть способы обойти это, которые вычисляют limited memory approximation of the Hessian. Эти методы сходятся быстрее, потому что они используют информацию о кривизне градиента: это простой компромисс, где, чем больше вы знаете о функции, которую вы пытаетесь оптимизировать, тем быстрее вы сможете найти решение.

Answer 2

Я не математик - так что я не могу дать вам точный ответ, однако, вы должны понимать, что вывод делает, например:

http://en.wikipedia.org/wiki/Derivative http://en.wikipedia.org/wiki/Differential_of_a_function

это то, что вам нужно (то, что дифференцировка делать): http://en.wikipedia.org/wiki/File:Graph_of_sliding_derivative_line.gif

производная в точке равна наклону касательной к графику функции в этой точке. И это именно то, что вам нужно, когда вы смотрите на спуск. Возьмите его как очень неформальную точку зрения, статьи в википедии дадут вам гораздо более глубокие и точные знания ...