Интерпретация результатов от lightFM

Question

Я построил модель рекомендации на пользовательский элементе транзакционного набор данных, где каждая сделка представлена ​​на 1.

model = LightFM(learning_rate=0.05, loss='warp') 

Вот результаты

Train precision at k=3: 0.115301 
Test precision at k=3: 0.0209936 

Train auc score: 0.978294 
Test auc score : 0.810757 

Train recall at k=3: 0.238312330233 
Test recall at k=3: 0.0621618086561 

Может кто-нибудь помочь мне интерпретировать этот результат? Как получается, что я получаю такую ​​хорошую оценку auc и такую ​​плохую точность/отзыв? Точность/отзыв становится еще хуже для «bpr» байесовского персонализированного рейтинга.

Прогнозирование задача

users = [0] 
items = np.array([13433, 13434, 13435, 13436, 13437, 13438, 13439, 13440]) 
model.predict(users, item) 

Результат

array([-1.45337546, -1.39952552, -1.44265926, -0.83335167, -0.52803332, 
    -1.06252205, -1.45194077, -0.68543684]) 

Как интерпретировать результаты прогнозирования?

Благодаря

Answer 1

Когда речь идет о разнице между точностью @ K в ППК, вы можете захотеть взглянуть на мой ответ здесь: Evaluating the LightFM Recommendation Model.

Сами оценки не имеют определенного масштаба и не могут интерпретироваться. Они имеют смысл только в контексте определения рейтинга по элементам для данного пользователя, причем более высокие баллы обозначают более сильное предсказанное предпочтение.