Любой может дать пример кодирования реализации метода регуляризации в pybrain? Я пытаюсь предотвратить переобучение в своих данных и в настоящее время ищу метод, например, раннюю остановку и т. Д., Чтобы сделать это. Спасибо!Как реализовать регуляризацию в pybrain
Существует переменная распада веса, которая является регуляцией L2 в pybrain. Кроме того, я бы использовал раннюю остановку как комбинацию с термином распада веса.
Ниже приведено описание того, как вы определяете распад веса.
trainer = RPropMinusTrainer(net, dataset=trndata, verbose=True, weightdecay=0.01)
Подкатегория: не L1/L2 регуляризация. Но его можно использовать для предотвращения переобучения путем ранней остановки. не
Из документации trainer,
trainUntilConvergence (набор данных = нет, maxEpochs = нет, многословный = None, continueEpochs = 10, validationProportion = 0,25)
Поезда модуль на наборе данных до тех пор, сходится.
Верните модуль с параметрами, которые дали минимальную проверку .
Если набор данных не задан, используется набор данных, прошедший во время тренировки . validationProportion - это отношение набора данных , используемого для набора данных валидации.
Если задано maxEpochs, самое большее, что обучаются многие эпохи. Каждый раз, когда ошибка проверки достигает минимума, попробуйте продолжить eppochs, чтобы найти лучший.
Если вы используете параметры по умолчанию, вы уже включили раскол 75:25 в качестве учебного плана и набора данных проверки. Набор данных валидации используется для РАННЕГО ОСТАНОВКИ.
Регуляризация означает изменение функции стоимости. Пользовательские варианты в PyBrain действительно влияют на функцию стоимости - например, выбирая, являются ли слои линейными или сигмовидными, - но сама функция затрат не подвергается прямому воздействию.
Однако, elsewhere on StackOverflow, кто-то утверждает, что регуляция L2 возможна через параметр weightdecay. (Норма L2 суммирует квадраты разностей в каждой координате, тогда как норма L1 суммирует их положительные абсолютные разности.)