Значение эпохи в нейронных сетей Обучение

Question

в то время как я читаю в том, как построить ИНС в pybrain, они говорят:

обучить сеть для некоторых эпох. Как правило, вы бы установить что-то как 5 здесь,

trainer.trainEpochs(1) 

Я посмотрел на то, что это значит, то я делаю вывод, что мы используем эпоху данных для обновления веса, если я выбираю для подготовки данных с 5 эпохи, как совет пираминов, набор данных будет разделен на 5 подмножеств, а макс будет обновляться в 5 раз больше.

Я знаком с онлайновым обучением, где обновляется после каждого образца данных или вектора объектов. Мой вопрос: как быть уверенным, что 5 эпох будет достаточно, чтобы построить модель и, возможно, установить вес? Каково преимущество этого способа в онлайн-обучении? Также термин «эпоха» используется при онлайн-обучении, означает ли это один вектор функции?

Answer 1

Одна эпоха состоит из полный цикл обучения на тренировочный набор. Как только каждый образец в наборе замечен, вы начинаете снова - отмечая начало второй эпохи.

Это не имеет никакого отношения к пакетной или онлайн-тренировке как таковой. Batch означает, что вы обновляете раз в конце эпохи (после каждый образец виден, т.е. #epoch обновлений) и в Интернете, что вы обновляете после каждыйобразец (#samples * обновления #epoch).

Вы не можете быть уверены, что для конвергенции достаточно 5 эпох или 500, так как оно будет отличаться от данных к данным. Вы можете прекратить обучение, когда ошибка сходится или становится ниже определенного порога. Это также выходит на территорию предотвращения переобучения. Вы можете прочитать на early stopping и cross-validation относительно этого.

Answer 2

Извините за восстановление этой резьбы. им новые для нейронных сетей и им исследование влияния «мини-партии» обучения.

До сих пор, как я понимаю, эпоха (как говорит runDOSrun) является сквозным использованием всех в наборе TrainingSet (а не DataSet, потому что DataSet = TrainingSet + ValidationSet). в мини-пакетном обучении вы можете подразделять TrainingSet на маленькие наборы и обновлять веса внутри эпохи. «надеюсь», это приведет к тому, что сеть «сходится» быстрее.

Некоторые определения нейронных сетей устарели и, я думаю, должны быть переопределены.

Answer 3

Простое определение эпохи является,

Эпоха является один вперед мимо и один пас назад из все примеры обучения.

Примечание: эпоха и итерации два разные вещи.

Например, для набора из 1000 изображений и размера партии 10 каждая итерация будет обрабатывать 10 изображений для 100 таких итераций для прохождения по всему набору. Это называется одной эпохи.Обучение может продолжаться в течение 100-х эпох.