Ранняя остановка и sklearn neural_network.MLPClassifier

Question

Я использую sklearn.neural_network.MLPClassifier. Я использую функцию early_stopping, которая оценивает производительность для каждой итерации, используя разделение валидации (по умолчанию 10% данных обучения).

Тем не менее, моя проблема заключается в нескольких ярлыках. Согласно API, валидация использует точность подмножества, что очень жестко для многозначных проблем.

Можно ли использовать альтернативную функцию подсчета очков (в идеале mlogloss) для проверки? Спасибо.

Answer 1

Решение заключается в использовании sknn, а не в реализации sklearn MLP. Это позволяет использовать наш собственный valid_set и указывать функцию потерь. Подробности here.