Высокая предвзятость или отклонение? - SVM и прочерченные кривые обучения

Question

Я никогда не видел таких кривых обучения. Правильно ли, что происходит огромное переобучение? Модель подходит лучше и лучше для данных обучения, в то время как она еще хуже ухудшает данные теста.

Обычно, когда существует высокая дисперсия, как здесь, больше примеров должны помочь. В этом случае они не будут, я подозреваю. Почему это? Почему такой пример кривых обучения не может быть легко найден в литературе/учебниках?

Learning curves. SVM, param1 is C, param2 is gamma

Answer 1

Вы должны помнить, что СВМ не модель параметрической, таким образом, больше образцов не должны уменьшить дисперсию. Уменьшение дисперсии может быть более или менее гарантировано для параметрической модели (например, нейронной сети), но SVM не является одним из них - больше образцов означает не только лучшие данные по обучению, но и более сложную модель. Кривые обучения являются типичным примером перепрофилирования SVM, что очень часто происходит с ядром RBF.