L2 матрица построчно Нормализация градиент

Question

Im пытается реализовать L2 норму слоя для сверточного нейронной сети, и им застрял на обратном проходе:

def forward(self, inputs): 
    x, = inputs 
    self._norm = np.expand_dims(np.linalg.norm(x, ord=2, axis=1), axis=1) 
    z = np.divide(x, self._norm) 
    return z, 

def backward(self, inputs, grad_outputs): 
    x, = inputs 
    gz, = grad_outputs 
    gx = None # how to compute gradient here? 
    return gx, 

Как рассчитать дх? Моя первая догадка

gx = - gz * x/self._norm**2 

Но это, кажется, не так.

Answer 1

Правильный ответ

gx = np.divide(gz, self._norm)