Градиентный спуск расходится, уровень обучения слишком высокий

Question

Ниже приведен фрагмент кода, который делает GD шаг за шагом, но тета расходится. Что может быть неправильным?

X = arange(100) 
Y = 50 + 4*X + uniform(-20, 20, X.shape) 

theta = array([0,0]) 
alpha = 0.001 
# one step of GD 
theta0 = theta[0] - alpha * sum(theta[0]+theta[1]*x-y for x,y in zip(X,Y))/len(X) 
theta1 = theta[1] - alpha * sum((theta[0]+theta[1]*x-y)*x for x,y in zip(X,Y))/len(X) 
theta = [theta0, theta1] 

Answer 1

Уровень обучения был слишком высоким.

alpha = 0.0001