Почему лифт для нейронной сети, стабильный в демо SAS Viya?

Question

Я смотрю демонстрацию машины SAS Viya. Он раскалывает некоторые алгоритмы машинного обучения друг против друга по заданному набору данных. Все модели производят почти одинаково хороший «подъем», как показано на диаграммах подъема на выходе.

Если вы настроите Обучение на выполнение меньшего подмножества данных; всего 0,002% от общего набора данных (данные раздела proc = & casdata partition samppct = 0.002;), большинство алгоритмов сталкиваются с проблемами, связанными с лифтом.

Но нейронная сеть все еще работает очень хорошо. Особенность или ошибка? Я мог представить, что сценарий не перезапускает сеть, но сложно угадывать только вызовы.

Answer 1

я получил good answers над на SAS сообществе разместило BrettWujek и Синьмините там:

Маты - короткий ответ, не запуская некоторые исследования моего, что нейронные сети являются высоко адаптивными и могут обучить очень точные модели с гораздо меньше наблюдений, чем многие другие методы. Модели, основанные на деревьях, будут весьма неустойчивыми с очень небольшим количеством наблюдений. В этом случае вы пробовали весь путь до 20 наблюдений ... даже этого может быть достаточно для нейронной сети, если пространство не слишком нелинейно.

Что касается вашего последнего комментария - кажется, вы имеете в виду то, что известно как теплое начало, где ранее обученная модель может использоваться в качестве отправной точки и уточняться путем предоставления новых наблюдений. Это НЕ то, что здесь происходит, поскольку эта возможность доступна только в нашем выпуске, который находится чуть более месяца.

Brett

И у меня есть некоторые подробности об этом из Синьминя:

Матов, PROC Nnet инициализирует вес случайным образом, если вы задаете семя в заявлении поезда, начальные веса повторяемые. Обучение NNET рассчитано на использование усовершенствованного решения нелинейной оптимизации, если в журнале отображается «конвергентный» статус, это означает, что модель очень хорошо подходит.