Я тренирую полностью свернутую нейронную сеть с 3080 * 16 входными изображениями для обучения, давая 16 изображений в партии. Я делаю это в течение 100 эпох.Существует ли лучшая структура для обучения нейронной сети с полной сверткой?
in every epoch:
after each batch:
calculate errors, do weight update, get confusion matrix
after each validation_batch
calculate errors and confusion matrix
Я стараюсь предоставить максимальный размер партии.
В этой ситуации (когда число периодов фиксировано) - у вас есть компромисс между количеством обновлений и качеством обновления. Чем чаще вы обновляете свою сеть (чем меньше пакет), тем лучше ваша сеть (при условии, что вы используете правильную регуляризацию и няню). Лучшее приближение реальных параметров обновления, которые вы получаете (размер партии больше), тем быстрее ваша сеть может сходиться к качественному решению, не допуская изменений, которые на самом деле могут ухудшить вашу модель.
Наилучший способ установить размер партии - это либо исследование, если кто-то уже выяснил наилучший размер партии для вашей задачи, либо мета-оптимизацию сетки/случайного поиска - где вы устанавливаете разумные значения возможного размера партии и проверяете каждый чтобы найти лучшее значение.
Большое спасибо, Марсин. –
Вы пытаетесь выяснить, что является лучшим размером партии для вашего обучения? –
Нет, это больше хитов и испытаний? Или есть способ вычислить? –