H2O Python: Извлечь сетчатую модель поиска, которая с наивысшим значением AUC для набора данных проверки

Question

Я создаю модель Random Forest, используя поиск по сетке с API-интерфейсом H2O Python. Я разделил данные в поезде и проверил и использовал k -fold cross validation, чтобы выбрать лучшую модель в поиске сетки.

Я могу получить модель с лучшим MSE на тренировочном наборе, но я хочу получить модель с самым высоким AUC в наборе валидации.

Я мог кодировать все в Python, но мне было интересно, есть ли подход H2O для решения этой проблемы. Любые предложения о том, как я могу это сделать?

Answer 1

Если g Ваш объект сетки, то:

g.sort_by('auc', False); 

даст вам модели заказанные АУК. Второй параметр False означает, что самая высокая AUC будет первой. Он возвращает объект H2OTwoDimTable, поэтому вы можете выбрать первую модель (лучшая модель, AUC) таким образом.

Я считаю, что это должно быть сортировка на основе результатов проверки, а не набора тренировок. Однако вы можете указать его явно:

g.sort_by('auc(valid=True)', False);