Как отключить импульс в определенном слое в тензорном потоке?

Question

У меня есть нейронная сеть с тремя скрытыми слоями, которую можно обучить «чистым» градиентным спуском или с помощью более сложных методов. Я также заметил, что в моей проблеме методы оптимизации на основе импульсов (адам, adadelta, импульс) работают намного лучше.

Теперь интересная часть. По дизайну я хочу отключить импульс в первом слое NN. Это означает, что я хочу обновить весы Адамом во втором и третьем слоях, но использовать простой градиентный спуск в первом слое.

Конечно, я всегда могу написать собственный оптимизатор: рассчитать градиенты с помощью tf.gradients(loss, tf.trainable_variables()), а затем просто сделать трюк. Но было бы неплохо иметь возможность использовать специальные параметры оптимизатора в каждом слое. Кто-нибудь слышал о том, как это сделать?

Answer 1

Ну, вы можете предоставить список переменных для оптимизации оптимизатора (docs):

opt = tf.train.AdamOptimizer() 
opt_op = opt.minimize(loss, var_list=[W1, b1]) 
opt2 = tf.train.GradientDescentOptimizer(learning_rate) 
opt2_op = opt2.minimize(loss, var_list=[W2, b2]) 

Вы должны извлечь список переменного (возможно, весы и смещает) данный слой самостоятельно.