Машинное обучение Как сравнить различные наборы функций

Question

Итак, у меня есть два разных набора функций A и B. Я пытаюсь определить, какой набор функций является лучшим. Я использую проверку остаточного перекрестного валидации как конечную метрику, так как мой набор данных невелик. Я пытаюсь выяснить мою экспериментальную установку, и я решаю между несколькими способами:

1) Дайте набор функций A моему классу (и, возможно, запустите его выбор), и дайте набор функций B тому же классификатор (также необязательно выполнить выбор функции), а затем сравнить ошибку LOOCV между этими двумя классификаторами?

2) Предоставьте набор функций A AND B классификатору, а затем определенно запустите его выбор, а затем выполните вывод более высокого уровня на основе выбранных функций. (Например, если больше от А выбраны состояний, которые показывают множество А, как представляется, провести более прогностическое значение)

3) Некоторые другие пути, которые я не знаю

Answer 1

Стандартная процедура для того, что вы описываете, будет очень похож на метод 1:

1. поезд два экземпляра же классификатор на набор функций A и B соответственно.
2. Оцените каждый из них с помощью какой-либо формы проверки перекрестных ссылок, скажем, в 10-кратной проверке креста или оставьте один, как вы использовали.

Это сказал, что если вы не строго ограничен набор функций A xor B, то вы можете достичь лучших результатов, вытекающих новый набор C используя подобный метод к тому, что вы описали в 2.

Трудно доверять результаты, использующие исключение из перекрестной проверки, вероятно, было бы лучше использовать в 10 раз. Это может быть одна из тех ситуаций, когда больше данных будет очень полезно, если вы сможете ее получить, а если нет, вы не сможете выполнить свой анализ.

Answer 2

В вашем методе 1, мне было интересно, почему вы используете другой классификатор для разных функций? Я больше предпочитаю ваш метод 2. Сохраняя все функции в процессе обучения, вы можете лучше выбрать соответствующие функции, так как весы для ненужных функций будут разлагаться. И он работает хорошо, когда у вас много функций, каждый из которых немного способствует. В этом подходе также может быть добавлен фактор регуляризации.