Можем ли мы объединить ранжирования из нескольких подобных наборов данных для создания глобального ранга?

Question

Еще один способ задать вопрос: можем ли мы использовать относительные рейтинги из отдельных наборов данных для создания глобального ранга?

Скажем, у меня есть множество наборов данных с их собственным ранжированием, основанным на критериях милосердия для детенышей животных: 1) Котята, 2) Щенки, 3) Лети и 4) Слоны. Я использовал парные сравнения (т. Е. Показывал людям две случайные фотографии животного и просил их выбрать самый красивый), чтобы получить эти рейтинги. У меня также есть полное количество сравнений в наборах данных (т. Е. Все щенки сравнивались друг с другом в наборе данных щенка).

Теперь я пытаюсь объединить наборы данных, чтобы создать глобальный рейтинг самого симпатичного животного.

Основная проблема относительного ранжирования заключается в том, что самое симпатичное животное в одном наборе не обязательно должно быть самым симпатичным в другом наборе. Например, предположим, что слоны-младенцы считаются менее привлекательными, и поэтому наименее симпатичный котенок всегда будет бить самого милого слона. Как мне обойти эту проблему?

Я собираюсь сделать несколько перекрестных сравнений между наборами данных (котята и слоны, щенки и котята и т. Д.), Чтобы создать какое-то базовое значение, но это может стать проблематичным, поскольку я добавляю к числу животных и типа животных.

Я также думал о дальнейшем рассмотрении в разреженных матрицах, но я думаю, что это применимо только к одному набору данных, а не к сопоставлению нескольких наборов данных?

Answer 1

Вы можете достичь своей задачи с помощью рейтинговой системы, как наиболее известный Эло, Глико, или наш rankade. Рейтинговая система позволяет строить ранжирования, начиная с парных сравнений и

• вам не нужно, чтобы сделать все сравнения, ни у всех животных участвуют в том же количестве сравнений,
• вы не нужно делать сравнение только в определенных наборах данных (пусть все животные «играют» против всех других животных, тогда, если вам нужен рейтинг для одного набора данных, просто используйте глобальное ранжирование, игнорируя животных от других).

Использование rankade (вот comparison с вышеупомянутыми ранжирования систем и Microsoft, TrueSkill) вы можете записать выходы для 2+ элементов, а также, в то время как с Эло или Глико вы не знаете. Чрезвычайно беспорядочно и сложно людям оценивать многие предметы, но небольшое количество сравнения (например, 3-5 животных) должно быть подходящим и полезным в вашей работе.