В чем разница между xgboost, extratreeclassifier и randomforrestclasiffier?

Question

Я новичок во всех этих методах, и я пытаюсь получить простой ответ на это или, возможно, если кто-то может направить меня на объяснение высокого уровня где-то в Интернете. Мой googling только вернул коды образцов.

Являются ли extratree и randomforrest по существу одинаковыми? И xgboost использует повышение, когда он выбирает функции для любого конкретного дерева, то есть выборки функций. Но тогда как другие два алгоритма выбирают функции?

Спасибо!

Answer 1

Дополнительные деревья (ET), ака. чрезвычайно рандомизированные деревья очень похож на случайный лес (RF). Оба метода - методы мешков, агрегирующие некоторые полностью растущие деревья решений. RF будет только пытаться разделить, например. треть функций, но оценивайте любую возможную точку разрыва в этих функциях и выбирайте лучшее. Тем не менее, ET будет оценивать только случайные несколько точек останова и выбирать лучшие из них. ET может загружать образцы в каждое дерево или использовать все образцы. RF должен использовать бутстрап для хорошей работы.

xgboost - это реализация повышения градиента и может работать с деревьями принятия решений, типичными деревьями меньшего размера. Каждое дерево обучается исправлять остатки предыдущих обученных деревьев. Усиление градиента может быть труднее тренироваться, но может привести к более низкому смещению модели, чем RF. Для шумного сбора данных, вероятно, будет наиболее многообещающим. Для малошумных и сложных структур данных структура, скорее всего, будет наиболее перспективной.