RandomForest in R с большим количеством функций

Question

У меня около 10 000 образцов и 9 000 функций. Я пытаюсь использовать RandomForest (RF или GRF) для выбора/уменьшения функции (переменной).

Концепция отлично работает, когда я использую 700 функций, но за 9000, когда я пытаюсь запустить randomForest или RRF, даже с 1 деревом (и даже с mtry = 1), я жду часами и ничего не происходит. (FYI, я использую sampsize = 800)

Я надеялся хотя бы на то, чтобы иметь возможность запускать единое дерево, а затем использовать несколько компьютеров и комбинировать.

Любые идеи для оказания помощи?

Рони

Answer 1

Я занимаюсь с той же проблемой, и я решил, как показано ниже:

1. Разделите ваши 9000 функции сказать 9 групп, каждый из которых содержит 1000 возможностей для 10K образцов
художественных
2. Run выбор для каждой подгруппы и выберите, скажем, 300 наиболее информативных признаков из каждой подгруппы
3. Объедините выбранные функции 9 * 300 и повторите шаги 1 и 2
4. Finall y вы получите 300 функций, выбранных

Этот подход может привести к потере некоторых важных функций, но он обычно выбирает наиболее информативные функции. Кстати, вы можете изменить выбранный размер функции (300 в данном примере) в соответствии с вашими потребностями.

Насколько я могу судить, нет другого пути, кроме грубой силы, чтобы найти наилучшее подмножество функций, не теряя при этом важной функции.