Невозможно тренироваться/настраиваться с PReLU в caffe

Question

Я работаю в распознавании лиц с глубокой нейронной сетью. Я использую базу данных CASIA-webface 10575 классов для обучения глубокому CNN (используется CASIA, см. Раздел paper) из 10 сверток, 5 пулов и 1 полностью подключенный слой. Для активации используется функция "ReLU". Я смог успешно тренировать его, используя caffe и получил желаемую производительность.

Моя проблема заключается в том, что Я не смогу обучить/точно настроить тот же CNN, используя "PReLU" активация. Сначала я подумал, что простую замену "ReLU" с "PReLU" выполнит эту работу. Тем не менее, ни один из тонкой настройки (из caffemodel, который был изучен с "ReLU") и учиться с нуля стратегии работали.

Чтобы упростить задачу обучения, я значительно сократил набор учебных материалов только на 50 классов. Однако CNN не смог учиться с "PReLU", тогда как он смог учиться с "ReLU".

Для того, чтобы понять, что моя кофейная отлично работает с "PReLU", я проверил его, выполнив простые сети (как с "ReLU" и "PReLU") с использованием данных cifar10, и она работала.

Я хотел бы узнать из сообщества, если у кого есть подобные наблюдения. Или если кто-то может предложить какое-либо предложение для решения этой проблемы.

Answer 1

Основное отличие между "ReLU" ии активацией активации заключается в том, что последняя функция активации имеет ненулевой наклон для отрицательных значений ввода и что этот наклон можно извлечь из данных. Было отмечено, что эти свойства делают тренировку более устойчивой к случайной инициализации весов.
Я использовал "PReLU" активацию для тонкой настройки сетей, которые были обучены первоначально с "ReLU" и я испытал более быструю и надежную конвергенцию.

Мое предложение заключается в замене "ReLU" со следующей конфигурацией

layer { 
    name: "prelu" 
    type: "PReLU" 
    bottom: "my_bottom" 
    top: "my_bottom" # you can make it "in-place" to save memory 
    param { lr_mult: 1 decay_mult: 0 } 
    prelu_param { 
    filler: { type: "constant" val: 0 } 
    channel_shared: false 
    } 
} 

Обратите внимание, что инициализация отрицательного наклона 0, то "PReLU" активаций в-действительности же, как "ReLU", так что вы начинаете тонкую настройку с точно то же место, что и ваша оригинальная сеть.

Также обратите внимание, что я явно задал коэффициенты скорости обучения и скорости распада (1 и 0 соответственно) - вам может потребоваться немного изменить эти параметры, хотя я считаю, что установка decay_weight на любое значение, отличное от нуля, не является мудрый.

Answer 2

Я смог отлично тренироваться с помощью PReLu для своей сети, хотя и с более низкой точностью, используя ReLu. И да, я просто поменял ReLu и PReLu.

Однако я почти всегда заметил, что PReLU сходится намного быстрее, чем ReLu. Итак, возможно, вам нужно снизить уровень обучения?

Answer 3

Два основных наблюдения:

• PReLU не гарантирует получения результатов более точные, чем те, с РЕЛУ. Он работал лучше с AlexNet на ImageNet, но это просто предполагает дальнейшие исследования и уточнения; он не обязательно переносится в другие приложения.
• CIFAR, ImageNet и CASIA-webface не являются идентичными приложениями.

Вы уже сделали правильный первый шаг, изменив скорость обучения. Затем я попытаюсь изменить параметры командной строки: измените эпсилон конвергенции, импульс, распад веса или другие параметры внутренней настройки. Иногда для этого требуется небольшая настройка, чтобы использовать даже незначительное изменение топологии.

Измените размер партии ввода. Можно ли изменить топологию другими способами, например, изменить уровень свертки? Вы можете увидеть, что у вас есть с другим подходом к фильтрам CONV2.