Линейная регрессия не работает, если количество функций больше размера набора данных; если не применяется регуляризация. У svm также есть похожие проблемы? Не будет ли это хорошим приближением, если число примеров меньше по сравнению с размерностью признаков? Скажите, являются ли примеры 1/10-й или 1/100-й из функций?Если количество функций намного больше, чем количество примеров в наборе данных, то svm все еще работает?
Когда число примеров меньше по сравнению с количеством функций, у вас не будет достаточного количества данных для соответствия не линейному SVM, то есть SVM с нелинейным ядром. SVM с линейным ядром (или без ядра) является одним из способов идти.
Если вы хотите использовать нелинейный SVM, вам необходимо тщательно выбрать параметры ядра и параметры регуляризации и правильно настроить их.
Я имею в виду, что нет проблемы с использованием SVM (или других регуляризованных моделей) по проблеме с сотнями наблюдений и тысячами атрибутов при условии правильной настройки параметров регуляризации.
Этот вопрос будет гораздо более уместным в [Перекрестная проверка] (http://stats.stackexchange.com/). Хотя, если вы разместите там сообщение, оно может быть помечено как дублирующее, так как список сообщений [этот] (http://stats.stackexchange.com/questions/35276/svm-overfitting-curse-of-dimensionality) должен отвечать ваш вопрос. – Tchotchke