Как бороться с ошибкой nan_policy в тесте Spearman в python

Question

Я хотел бы иметь дело с результатом nan в тесте Spearman. выглядит как nan_policy parameter is broken. Как я могу исправить эту проблему?

from scipy import stats 
pvalue=stats.spearmanr([10,100],[1,100])[1] 
print(pvalue) 

возвращает nan

pvalue=stats.spearmanr([10,100],[1,100],nan_policy='omit')[1] 
print(pvalue) 

возвращает nan

link to связанный с этим вопрос, который не решает эту проблему. link to Как проверить на nan в python.

Answer 1

Я не уверен, что ваш пример демонстрирует ошибку в параметре nan_policy, который относится к входам не выходов и не находятся в вашем входе нет nans.

Вы получаете nan, потому что ваши образцы слишком коротки для значимой статистики. Технически вы, вероятно, правы, значение p всегда должно быть конечным, так что это ошибка.

Сказанное, если я не полностью неправильно понимаю, что такое cc cear spearman, функция возвращает неправильные значения p.

>>> stats.spearmanr(np.arange(4.),np.arange(4.)) 
SpearmanrResult(correlation=1.0, pvalue=0.0) 

, имеющий четыре образца с одинаковым порядком ранга, действительно не так маловероятен.

Редактировать: Приведенные выше запахи для меня похожи на формулу приближения для распределения ранга cc, которая не работает слишком хорошо для небольших n. Так что ты можешь сделать? Если ваш n невелик, не используйте эту функцию (извините, я не могу быть более конструктивным, вы можете вычислить распределение ранга cc с помощью грубой силы, а затем вычислить p -значение); если ваши фактические образцы велики, вы, вероятно, прекрасны, но я бы перекрестно проверил несколько примеров против некоторых других программ статистики.