Оценка систем рекомендаций является большой проблемой для ее исследовательских и промышленных сообществ. Посмотрите на «Оценка систем рекомендаций для совместной фильтрации», «Herlocker et al». Люди, которые публикуют данные MovieLens (исследовательская лаборатория GroupLens в Университете Миннесоты), также публикуют много работ по темам рецензирования, а файлы PDF часто бесплатны в http://grouplens.org/publications/.
Отъезд https://scholar.google.com/scholar?hl=en&q=evaluating+recommender+systems.
Одним словом, вы должны использовать метод, который скрывает некоторые данные. Вы будете тренировать свою модель на части данных (так называемые «данные обучения») и протестировать оставшуюся часть данных, которые ваша модель никогда раньше не видела. Формальный способ сделать это называется перекрестной проверкой, но общая концепция видимых данных обучения по сравнению с скрытыми тестовыми данными является наиболее важной.
Я также рекомендую https://www.coursera.org/learn/recommender-systems, курс Курсера по рекомендательным системам, преподаваемым людьми GroupLens. В этом курсе вы научитесь использовать LensKit, систему систем рекомендаций в Java, которая включает в себя большой пакет оценки. Даже если вы не примете курс, LensKit может быть именно тем, что вы хотите.