Как получить результат auc с помощью scikit

Question

Привет, я хочу объединить поезд/тестовое разделение с перекрестной проверкой и получить результаты в auc.

Мой первый подход я получаю, но с точностью.

# split data into train+validation set and test set 
X_trainval, X_test, y_trainval, y_test = train_test_split(dataset.data, dataset.target) 
# split train+validation set into training and validation sets 
X_train, X_valid, y_train, y_valid = train_test_split(X_trainval, y_trainval) 
# train on classifier 
clf.fit(X_train, y_train) 
# evaluate the classifier on the test set 
score = svm.score(X_valid, y_valid) 
# combined training & validation set and evaluate it on the test set 
clf.fit(X_trainval, y_trainval) 
test_score = svm.score(X_test, y_test) 

И я не нахожу, как применять roc_auc, пожалуйста, помогите.

Answer 1

Использование scikit учиться вы можете сделать:

import numpy as np 
from sklearn import metrics 
y = np.array([1, 1, 2, 2]) 
scores = np.array([0.1, 0.4, 0.35, 0.8]) 
fpr, tpr, thresholds = metrics.roc_curve(y, scores, pos_label=2) 

Теперь мы получаем:

print(fpr) 

массив ([0, 0,5, 0,5, 1])

print(tpr) 

массив ([0,5, 0,5, 1., 1.])

print(thresholds) 

массив ([0,8, 0,4, 0,35, 0,1])