Есть ли способ оценить влияние независимых переменных с повышением градиента?

Question

Меня попросили запустить модель с использованием ускорителя градиента или случайного леса. Однако пока что так хорошо, единственный выход, который возвращается с точки зрения переменной важности, основан на количестве раз, когда переменная использовалась как правило ветвления. Теперь меня попросили получить в основном коэффициенты или как-то количественно оценить влияние переменных на цель. Есть ли способ сделать это с помощью модели повышения градиента? Мои другие мысли заключались в том, чтобы либо использовать только переменные, которые, как было показано, рассматриваются как правила ветвления в регулярном дереве решений или в модели GLM или регулярной регрессии.

Любая помощь или замечания будут оценены! Спасибо!

Answer 1

Просто убедитесь, что не существует недоразумений: реализация SAS дерева решений/повышения градиента (по крайней мере, в EM) использует переменную Value Value.

Значение, основанное на сплите, НЕ подсчитывает количество разрывов. Это отношение уменьшения суммы квадратов на одну переменную (конкретную сумму по всем разломам этой переменной) по отношению к уменьшению суммы квадратов, достигнутому всеми разбиениями в модели.

Если вы используете суррогатные правила, высококоррелированные переменные получат примерно одинаковое значение.