Оценка системы рекомендаций на основе критериев подобия

Question

Я разработал систему рекомендаций, которая рекомендует первые 10 элементов, похожих на элемент, на основе набора взвешенных показателей. Сейчас все, что можно сделать - это выбрать элемент, и система отображает первые 10 элементов, похожих на выбранный элемент. Я запутался в методах оценки, которые можно использовать для оценки такой системы. Оценки точности/отзыва имеют смысл в таких случаях, когда пользователей нет? Любые указатели на методы оценки для таких систем будут высоко оценены.

Answer 1

Чтобы оценить точность и отзыв, вам нужно как-то правильно ответить на некоторые входы. Правильный ответ в этом случае может означать самый похожий элемент или точный упорядоченный список из 10 похожих предметов. Затем вы можете сравнить результаты своего алгоритма с правильными ответами. Учитывая эту информацию, вам также нужен способ узнать, т. Е. Настроить алгоритм, чтобы приблизиться к правильному ответу. Эта часть обновления вашего алгоритма может использоваться также при запуске системы с реальными пользователями: если вы показываете 10 связанных предметов реальному пользователю, а пользователь выбирает один из них, тогда вы должны обновить весы, чтобы предложение, выбранное в следующий раз пользователь получит более высокий ранг. Это может пойти еще глубже, если вы профилируете пользователей и кластерируете их, чтобы пользователи из разных категорий должны были видеть разные связанные элементы относительно данного элемента.