theano имеет разные результаты по процессору и графическому процессору

Question

Я написал программу обучения автомастерскому Theano. Но у меня есть два совершенно разных результата между CPU и GPU.

Ниже бревно. (Только малая часть бревна)

result on GPU

result on CPU

Функция потерь быстро уменьшается, а затем converg до 0,2 на CPU.

Однако функция потерь увеличится и, наконец, станет NaN на графическом процессоре.

Какие ошибки могут быть в моей программе? Или что я должен принять во внимание? Спасибо!

Answer 1

Может ли быть, что процессор использует float64 (двойная точность), а графический процессор использует float32 (одинарная точность)? Здесь вы можете посмотреть флаги конфигурации: http://deeplearning.net/software/theano/library/config.html

Answer 2

Проверить эту нить ... https://github.com/fchollet/keras/issues/511 основном добавление;

optimizer_excluding=cudnn 

в .theanorc решил это для меня, но решение работает медленнее.