Расчет ROC и AUC в кофе?

Question

Я обучил imagenet в Caffe. Теперь я пытаюсь рассчитать ROC/AUC для моей модели и обученной модели, предоставленной caffe. У меня есть два вопроса:

1) ROC/AUC в основном используется для двоичных классов, но я также обнаружил, что в некоторых случаях люди использовали его для мультиклассов. Возможно ли 1000 классов. И каково будет его влияние? Как и в обзорах, люди не дали хорошего ответа для ROC/AUC в многоклассовых проблемах.

2) Если возможно, и сравнение двух моделей на основе ROC/AUC будет хорошей идеей, может ли кто-нибудь сказать, как это сделать для этих 1000 классов в Caffe? И мне нужно переучивать модели с нуля, или я могу рассчитать только с помощью готовых моделей?

С уважением

Answer 1

This discussion адреса мульти-класс ROC/ППК анализ красиво. Отвечая на ваши вопросы:

1. Вы можете сделать несколько классификаций один-против всех для каждого класса, тем самым создавая несколько кривых ROC.

2. Вычисляя 1000 значений AUC, вы можете получить среднее значение AUC по всем классам и использовать этот показатель, чтобы сравнить доброту ваших моделей. Нет, вам не нужно переучивать ваши модели.

Также обратите внимание, что метрики ROC/AUC весьма специфичны и используются в основном в задачах обнаружения/биометрии, таких как идентификация голоса.