Как разделить поезд/тест крайне редкого набора данных системы рекомендаций?

Question

Я использую алгоритм CF (SVD) в наборе данных реального мира. Теперь я встречаю проблему с разрешенной проблемой. Это означает, что разреженность пользовательской/товарной матрицы составляет около 0,01%. Я разделил данные на набор поездов/тестов с 80/20, я обнаружил, что в наборе обучения появилось всего несколько пользователей и элементов в наборе тестов, поэтому я могу просто использовать несколько оценок в тестовом наборе для вычисления RMSE. Не могли бы вы мне посоветовать исправить это?

Answer 1

В случае систем рекомендаторов обычно обычно разбивается история каждого пользователя на поезд и тест. Подробнее:

1. Для каждого пользователя мы выписываем элементы, с которыми он взаимодействовал.
2. Предпочтительно, мы заказываем им (время) для преодоления «проблемы с путешествием во времени» (пользователь может повторно просмотреть уже известные элементы, поэтому вы не хотите тестировать ранний набор данных).
3. Как обычно, вы используете первые (1-k) проценты вашего набора данных в качестве набора для поездов, а остальные - в качестве тестового набора.