Внедрение исключения из моего CNN делает снижение точности обучения

Question

Реализация сверточной нейронной сети для классификации изображений, у меня есть хорошие результаты по моей точности тренировочного набора (98%), но точность тестирования установлена ​​на низком уровне (около 82%). Я столкнулся с проблемой переобучения. Я попытался решить эту проблему, выполнив функцию отсева (сохраняя 50% нейронов), но оказывается, что это решение снижает точность обучения до 80%! Означает ли это, что у меня должно быть больше нейронов в моем CNN? Что я могу сделать, чтобы предотвратить эту проблему?

Я использую библиотеку Tensorflow и вот кусок кода для тренировочного цикла: (Я не уверен, что я реализовал это правильно)

for epoch in range(22000): 
    permutation=np.random.permutation(19600) 
    permutation=permutation[0:200] 
    batch=[train_set[permutation],train_label[permutation]] 
    summary,model,cost=sess.run([merged,train_step,cross_entropy],feed_dict={X:batch[0],Yreal:batch[1],drop_value:0.5}) #training with 50% of the neurons 
    train_writer.add_summary(summary,epoch) 
    print(cost) 
    if epoch%500==0: 
     print(epoch) 
     summary=sess.run(merged,feed_dict={X:test_set[0:300],Yreal:test_label[0:300],drop_value:1}) #evaluating testing set accuracy using 100% of the neurons 
     test_writer.add_summary(summary,epoch) 

Answer 1

Если точность испытаний также вокруг одной и той же марки, как подготовленности точность в случае отсева, то вы можете увеличить количество нейронов. Кроме того, 0,50 в качестве первоначального отсева довольно высока. Начните с 0,25 (т. Е. Сохраните вероятность 0,75 для уровня отсева). Кроме того, я бы рекомендовал использовать некоторое увеличение данных, такое как вращение, искажение яркости, обмен цветовыми каналами в зависимости от характера данных и использование некоторой регуляризации. Также постройте кривые обучения и проверьте, как точность теста изменяется с точностью обучения.