solver.prototxt для adam solver в caffe

Мой solver.prototxt с использованием adam выглядит следующим образом. Нужно ли добавлять или удалять какие-либо условия? Оленья кожа потеря, кажется, уменьшитьsolver.prototxt для adam solver в caffe

net: "/home/softwares/caffe-master/examples/hpm/hp.prototxt" 
test_iter: 6 
test_interval: 1000 
base_lr: 0.001 
momentum: 0.9 
momentum2: 0.999 
delta: 0.00000001 
lr_policy: "fixed" 
regularization_type: "L2" 
stepsize: 2000 
display: 100 
max_iter: 20000 
snapshot: 1000 

snapshot_prefix: "/home/softwares/caffe-master/examples/hpm/hp" 
type: "Adam" 
solver_mode: GPU

источник

2017-01-15 user27665

Путем сравнения с caffe example on mnist «размер шага» могут быть удалены, так как «lr_policy» есть «фиксированный».

источник

2017-03-22 15:31:10

это может быть правильным, но я не думаю, что это, почему потеря не сходится – Shai

Да, я согласен. Одно из предложений - изменить 'base_lr'. Возможно, другой вопрос имеет значение: [link] (http://stackoverflow.com/a/36440449/7709837). –

Попробуйте с частотой обучения 0,1 и более медленным размером шага типа 300 и следите за поведением, а также проверьте, хорошо ли сформирован файл lmdb/hdf5 и имеют правильную шкалу, чтобы облегчить обучение, вы можете сделать это, создав средний файл по вашему набору данных.

источник

2017-03-22 17:05:50

Как насчет вашей работы? Если вы использовали Адама. Я предлагаю вам посмотреть на обстановку в кафе. Я не знаю, почему у вас L2 и значение дельты. This стандартная установка

# The train/test net protocol buffer definition 
# this follows "ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION" 
net: "examples/mnist/lenet_train_test.prototxt" 
# test_iter specifies how many forward passes the test should carry out. 
# In the case of MNIST, we have test batch size 100 and 100 test iterations, 
# covering the full 10,000 testing images. 
test_iter: 100 
# Carry out testing every 500 training iterations. 
test_interval: 500 
# All parameters are from the cited paper above 
base_lr: 0.001 
momentum: 0.9 
momentum2: 0.999 
# since Adam dynamically changes the learning rate, we set the base learning 
# rate to a fixed value 
lr_policy: "fixed" 
# Display every 100 iterations 
display: 100 
# The maximum number of iterations 
max_iter: 10000 
# snapshot intermediate results 
snapshot: 5000 
snapshot_prefix: "examples/mnist/lenet" 
# solver mode: CPU or GPU 
type: "Adam" 
solver_mode: GPU

источник

2017-04-21 14:09:18 KimHee

ответ

Смежные вопросы