Высокая обучающая ошибка в начале тренировки Сверточная нейронная сеть

Question

В Сверторной нейронной сети Я работаю над обучением CNN, и в процессе обучения, особенно в начале моего обучения, я получаю чрезвычайно высокую ошибку обучения , После этого эта ошибка начинает медленно снижаться. Примерно через 500 Эпохов ошибка обучения приближается к нулю (например, 0,006604). Затем я взял окончательную полученную модель для измерения ее точности по сравнению с данными тестирования, у меня около 89,50%. Это нормально? Я имею в виду получение высокой частоты ошибок при обучении в самом начале моего учебного процесса. Еще одна вещь, которую я хотел бы упомянуть, это то, что я заметил, что каждый раз, когда я уменьшаю количество скрытых узлов, результаты становятся лучше в конце моего обучения.

Моя структура CNN является:

config.forward_pass_scheme = {'conv_v', 'pool', 'conv_v', 'pool', 'conv_v', 'pool', 'conv_v','full', 'full', 'full', 'out'}; 

Вот некоторые из моих гипер параметров:

config.learning_rate = 0.01; 
    config.weight_range = 2; 
    config.decay = 0.0005; 
    config.normalize_init_weights = 1; 
    config.dropout_full_layer = 1; 
    config.optimization = 'adagrad'; 

Ваша помощь и предложения в этой связи высоко оценили, спасибо заранее.

Answer 1

Если у вас есть большое количество скрытых устройств в полностью подключенных (fc) слоях и не имеют достаточных данных о тренировке, сеть будет переоборудовать на тренировочный набор. Сверточные слои менее подвержены переобучению, поскольку у них меньше параметров. Уменьшение количества скрытых единиц в слоях fc может привести к переобучению. Чтобы настроить эти гиперпараметры (например, количество скрытых узлов в fc-слое), используется набор валидации, чтобы модель давала хорошую производительность на тестовом наборе. Несмотря на то, что отсечение помогает сократить пересылку в слоях fc, может быть недостаточно, если вы добавите слишком много скрытых единиц.

Да, в начале ожидается, что ошибка обучения будет высокой. CNN обучаются с использованием стохастической оптимизации, поэтому для изучения параметров требуется некоторое время.

Answer 2

Чем больше скрытых слоев/нейронов, тем больше весов в вашем NN. Это означает больше параметров для моделирования вашей проблемы. Поэтому имеет смысл, что добавление нейронов/слоев дает лучшее обучение.

С другой стороны, большее количество грузов для тренировки означает больше рисков переоборудования. Убедитесь, что в вашем учебном наборе у вас есть как минимум 5 раз больше образцов, которые у вас есть веса в вашем NN.

Другим решением для предотвращения переобучения является использование отсева.

Btw, в какую библиотеку вы используете?