существенное испытание с использованием scikit-узнать-х перестановкой результаты тестов в том же р-значения для всех классификаторов

Question

Я пытаюсь выяснить значимость результатов с помощью scikit учиться-х permutation test как в:

score, permutation_scores, pvalue = permutation_test_score(clf.best_estimator_, X_train, Y_train, cv=10, n_jobs=10, n_permutations=100, scoring='accuracy') 

где clf.best_estimator является результатом перекрестной проверки.

Я использую его для нескольких классификаторов (несколько независимых clf.best_estimator_), но значения p для всех из них равны 0,00990099009901.

Я понятия не имею, почему это происходит. Странно то, что это то же самое число, о котором сообщается в связанном коде в руководстве пользователя scikit-learn.

Answer 1

Я задал тот же вопрос в проблемах scikit-learn, и ответ был следующим: для большинства хороших классификаторов, если случайный классификатор лучше, чем обученный классификатор в 1 тесте из 100, это магическое число будет результатом.

поэтому нет ничего плохого в этом волшебном номере.