Spark mllib: Разница между implicitTrain и explicitTrain

Question

Я попытался использовать явную функцию поезда для рекомендации продуктов на основе пользовательских настроек (производных настроек) и MSE для этого достаточно хорош для набора учебных и тестовых данных. (Лямбда = 0,01)

Те же самые данные, когда я использую в trainImplicit СКО увеличивается до 20 раз для обоих тест и обучающего набора данных. (Лямбда = 0,01, альфа = 1,0)

Теперь я понимаю, что они отличаются algos, но как я могу судить, если неявное работает лучше, чем явное или нет?

Answer 1

В принципе разница между неявным и явным поездам заключается в том, что подразумеваемый предполагается использовать, когда у вас есть только неявные действия, связанные с этим элементом, чтобы сделать рекомендацию, например. просмотров, кликов, покупок, симпатий, акций и т. д. В то время как явное предположение должно использоваться, когда у вас есть явные ставки относительно предметов, которые вы хотите порекомендовать. Теперь, говоря о применении этого алгоритма в поле, я получил такую ​​же ситуацию, как и при создании системы рекомендаций по воспроизведению фильмов, и я не могу объяснить, почему неявные результаты получили более высокие результаты, чем явные при обучении явным наборам данных. На мой взгляд, MSE является подходящей мерой производительности. И одно, что вы можете сделать, это проверить реализацию искры mllib и попытаться понять, почему :). Извините, если я не ответил вам вообще.