ROC результат интерпретации

Я использую WKEA для классификации. Я использую два алгоритма adaboost и RBFNetwork. Неожиданно оба этих алгоритмов не работает хорошо на моих данных и дает следующие результаты:ROC результат интерпретации

    Adaboost  RBFNetwrok 
     Precision : 0    0 

     Recall  : 0    0 

     F1-score : 0    0 

    Accuracy : 91.36   91.36 

    ROC_AUC : 77.11   64.26

Мы можем видеть, что оба алгоритма дают одинаковые значения для 4 Метрика (точность, напомним, f1-оценка, точность) , но они дают разные результаты для ROC_AUC.

Я не могу понять, как это возможно? Я делаю ошибку?

Пожалуйста, дайте мне знать.

источник

2016-12-30 Sangeeta

Это абсолютно нормально. AUC интегрирован по всем пороговым значениям, а точность измерена на одном пороге. Это означает, что кривые ROC может выглядеть совсем иначе, с различными ПКА, но по-прежнему имеют общую точность при некотором пороговом (красном круге):

источник

2016-12-30 15:21:53 Calimo

В классификации мы берем порог 0,5. Теперь, если экземпляр имеет значение доверия больше 0,5, мы предсказываем его как положительный экземпляр, иначе мы прогнозируем его как отрицательный экземпляр. Это означает, что, принимая различное значение порога, мы можем различать значение точности. Это верно и для ROC-AUC? – Sangeeta

Вам не нужно принимать порог в 0,5 для классификации. Это полностью зависит от вас. В этом весь смысл анализа ROC: варьировать порог, видеть, как изменяется чувствительность и специфичность, и получать среднее значение по всем пороговым значениям. – Calimo

ответ

Смежные вопросы