Объединение случайных моделей леса в scikit learn

Question

У меня есть две модели RandomForestClassifier, и я хотел бы объединить их в одну метамоду. Оба они обучались с использованием похожих, но разных данных. Как я могу это сделать?

rf1 #this is my first fitted RandomForestClassifier object, with 250 trees 
rf2 #this is my second fitted RandomForestClassifier object, also with 250 trees 

Я хочу создать big_rf со всеми деревьями, объединенных в один 500 дерева модели

Answer 1

Я считаю, что это возможно путем изменения атрибутов estimators_ и n_estimators на объекте RandomForestClassifier. Каждое дерево в лесу хранится как объект DecisionTreeClassifier, а список этих деревьев сохраняется в атрибуте estimators_. Чтобы убедиться, что нет разрыва, также имеет смысл изменить количество оценок в n_estimators.

Преимущество этого метода заключается в том, что вы можете построить кучу небольших лесов параллельно на нескольких машинах и объединить их.

Вот пример, используя данные диафрагмы набора:

from sklearn.ensemble import RandomForestClassifier 
from sklearn.cross_validation import train_test_split 
from sklearn.datasets import load_iris 

def generate_rf(X_train, y_train, X_test, y_test): 
    rf = RandomForestClassifier(n_estimators=5, min_samples_leaf=3) 
    rf.fit(X_train, y_train) 
    print "rf score ", rf.score(X_test, y_test) 
    return rf 

def combine_rfs(rf_a, rf_b): 
    rf_a.estimators_ += rf_b.estimators_ 
    rf_a.n_estimators = len(rf_a.estimators_) 
    return rf_a 

iris = load_iris() 
X, y = iris.data[:, [0,1,2]], iris.target 
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.33) 
# in the line below, we create 10 random forest classifier models 
rfs = [generate_rf(X_train, y_train, X_test, y_test) for i in xrange(10)] 
# in this step below, we combine the list of random forest models into one giant model 
rf_combined = reduce(combine_rfs, rfs) 
# the combined model scores better than *most* of the component models 
print "rf combined score", rf_combined.score(X_test, y_test) 

Answer 2

В дополнении к @mgoldwasser решения, альтернатива является использование в warm_start при обучении леса. В Scikit-Learn 0.16-DEV, теперь вы можете сделать следующее:

# First build 100 trees on X1, y1 
clf = RandomForestClassifier(n_estimators=100, warm_start=True) 
clf.fit(X1, y1) 

# Build 100 additional trees on X2, y2 
clf.set_params(n_estimators=200) 
clf.fit(X2, y2)