1

Просвещение по обратному вычислению dW (весовая дельта) на вес по образцу, поэтому просто, как изменить вес при выполнении стохастического обучения. Как использовать его для пакетного обучения? Просто накапливайте dW по всему набору тренировок, а затем применяйте modfication, или есть еще больше?Обратное просветительское и учебное обучение

ответ

0

Да, просто накапливайте dW по всему набору тренировок. По крайней мере, так я закодировал его обратно в школе градиента ...

+1

Но когда вы пересчитываете входные веса, вы должны использовать (??) Входной вектор. Итак, скажем, я накапливаю ошибки для 2 векторов, тогда я начинаю делать backprop - какой вектор выбрать? Я запускаю backprop с одним вектором, обновляя все веса, затем запускаю backprop с другим вектором, повторно обновляя все веса? – dwanderson

+0

@dwanderson Вы определили, как это сделать? Я застрял в том же месте, что и вы, я собрал все дельта по всей партии, но не уверен, как исходить отсюда. Мое предположение на данный момент состоит в том, чтобы установить дельты в среднюю дельту, а затем обновить веса для каждого вектора в моем наборе данных. –

2

Вы можете много сделать с разными градиентами из разных образцов. Это включает информацию о более высоком порядке (приблизительная 2-я производная) или сопряженный градиент или естественный градиент или ... :)