Как интерпретировать оценку AUC в этом случае?

Question

Я просто запускаю случайную модель леса по набору данных дисбаланса. Я получил набор AUC и матрицу замешательства. AUC показалась неплохой, но на самом деле модель предсказывает каждый пример как положительный. Итак, как это произошло и как правильно использовать AUC?

РПЦ Curve, как показано ниже:

Answer 1

Вы можете иметь эту проблему, когда ваши данные искажены в одном или другом направлении (то похож на небольшой ложных срабатываний будучи ужасным для медицинских испытаний для редких условий). Возможно, было бы полезно посмотреть всю характеристическую кривую приемника (кривую ROC), а не только сводную оценку AUC.