Отслеживание пользователей и фотографий, которые они просмотрели

Question

У меня очень высокий сайт трафика с большим количеством фотографий на нем, и я пытаюсь отслеживать, какую фотографию просматривал каждый пользователь.

Моим первым инстинктом будет таблица SQL с двумя столбцами: user_id & photo_id. Но это не повлияло бы на мой уровень трафика, и таблица быстро стала бы неуправляемой.
Любые рекомендации для решения anoher, SQL или NoSQL (mongodb, couch, redis, ...)

Мой код в основном PHP, если это имеет значение.

Спасибо!

Редактировать Существует 10 миллионов миллионов дней.

Edit мне не нужно знать общее время пользователь просматривает конкретную фотографию, были просто ли его рассматривать вообще этим пользователем

Answer 1

Лучше всего, чтобы создать коллекцию с {_id: Сформирован автомагически, pictureID, viewerID}

с находкой (pictureID, viewerID) .limit (1) и индекс по pictureID и viewerID сделает проверку супер ультра быстрый уровень 99. очень важно установить индекс. Я использую find(). Limit (1), потому что он быстрее, чем findOne, по крайней мере, из текущих тестов.

Почему у пользователя нет одной записи с массивом просматриваемых изображений? потому что поиск по массиву медленнее, чем поиск целого документа в коллекции. 10 миллионов изображений? без проблем. здесь сияет монгодб. он предназначен для масштабирования для крупных баз данных, таких как ваши. Пока ваши документы меньше 16 мб, и с 3 свойствами, это: у вас мало что нужно беспокоиться.

Когда вы удаляете изображение, просто db.viewed.remove ({pictureID: pictureID}), и он удалит все связанные изображения.

db.viewed.remove ({viewerID: viewerID}), когда вы удаляете пользователя! Не делайте этого, когда пользователь удаляет изображение или учетную запись. Делайте это во время технического обслуживания или говорите, один раз в час. Создайте коллекцию с pendingRemovingImages и pendingRemovingUsers, где вы храните вещи, которые хотите удалить. проверьте $ в, чтобы выполнить массовое удаление изображениями и/или пользователями.

Я нахожу ваш вопрос самым захватывающим, и я твердо убежден, что вы должны идти в мою сторону.

Answer 2

Вы можете попросить Redis. Redis очень хорошо поддерживает PHP, с Redis, вы можете сохранить историю просмотров определенной фотографии в хэш-карте.

$map = 'views|' . $photo_id; 
// this line is called whenever a user view a photo 
$redis->hset($map, $uid, time()); 
// this line is called to test whether a user viewed a photo 
$redis->hget($map, $uid); 

Redis достаточно быстро. Но одна вещь, которую вы должны знать о Redis, заключается в том, что она хранит все данные в памяти, поэтому, если данные в конечном итоге превысят физическую память, вам придется очертить данные самостоятельно.

Также вы можете попробовать SSDB (https://github.com/ideawu/ssdb), который имеет аналогичные API для Redis, также хорошо поддерживает PHP (http://www.ideawu.com/ssdb/docs/php/), но хранить большинство данных на диске, память используется только для кеширования. Это означает, что пропускная способность SSDB составляет 100 раз от Redis - вплоть до ТБ.