Использование коэффициента каппа для оценки результатов поиска толпы

Question

У меня есть 4 набора данных с метками вручную для 0 и 1, 4 разных людей. Я должен получить окончательные помеченные данные в терминах 0 и 1, используя 4 набора данных с метками вручную. Я рассчитал степень согласия между пользователями как A-B: 0.3276, A-C: 0.3263, А-D: 0.4917, В-С: 0,2896, Б-Д: 0,4052, С-D: 0.3540.

Я не знаю, как использовать это, чтобы вычислить конечные данные как один набор. Пожалуйста, помогите.

Answer 1

Коэффициент Kappa работает только для пары аннотаторов. Для более двух вам необходимо использовать расширение. Один из популярных способов сделать это - использовать this expansion proposed by Richard Light in 1971 или использовать среднее ожидаемое соглашение для всех пар аннотаторов, предложенное Davies and Fleiss in 1982. Я не знаю ни одного легко доступного калькулятора, который будет вычислять их для вас, поэтому вам, возможно, придется реализовать код самостоятельно.

this Wikipedia page on Fleiss' kappa, однако, который может оказаться полезным.

Эти методы могут использоваться только для номинальных переменных. Если ваши данные не указаны в номинальной шкале, используйте другую меру, например, intraclass correlation coefficient.