Глубокое обучение - finetuning на верхней части модели Conv net

Question

Я дорабатываю поверх образной модели сети, используя архитектуру Alexnet. Мой набор данных довольно мал (7 изображений для каждого класса без увеличения). Мне нужно отбросить последний слой FC ("FC8"), но как насчет других полностью подключенных слоев. Для "FC6" и "FC7" следует использовать весы из модели модели изображения или инициализировать из случайного? Скорость обучения для всех трех слоев ФП равна 5.

Answer 1

с таким количеством примеров обучения, которые я бы рекомендовал фиксировать все слои (conv, fc6 и fc7) и использовать линейный SVM для обучения конечного слоя. Большинство обучающих пакетов и алгоритмов SVM используют глобальную выпуклую оптимизацию и могут давать лучшие результаты, чем SGD в этих настройках.