Статистика пользователя: «взаимный расчет» или объемный расчет + кеширование

Question

У меня есть проект, который вычисляет ряд «статистики» о производительности пользователей, а затем показывает их им. Все эти статистические данные в конечном итоге исходят из большой таблицы «взаимодействий», которые фиксируют взаимодействие пользователей с сайтом. На данный момент все эти статистические данные рассчитываются путем просмотра этих данных. Мы широко используем постоянное кэширование, чтобы ускорить эту работу.

Мы планируем перейти к «итеративному дизайну», где статистические значения хранятся в db, и при регистрации каждого взаимодействия мы обновляем значения в зависимости от того, что вклад этих взаимодействий в каждый балл, поэтому мы по существу итеративно обновляя значения. (сейчас мы просто загрязняем кеш).

Я вижу некоторые проблемы с итерационным дизайном, потому что это означает, что у нас есть эта избыточная, потенциально не синхронизированная информация, хранящаяся в нашей базе данных, что затрудняет добавление новых статистических данных и означает большую работу над каждым журналом взаимодействия. Преимущество заключается в том, что он упрощает статистический поиск до одиночного удара db!

Что-то в этом итеративном проекте вызывает сигналы тревоги для меня, но я не могу отрицать потенциальную экономию времени. Должен ли я повиноваться этому чувству кишки, или идти вперед и делать это?

Answer 1

Когда я делаю проект базы данных, я стараюсь избегать хранения избыточных данных, когда это возможно. (Это, в конце концов, объект нормализации базы данных). Вычисляемые столбцы и представления в порядке - они управляются и обновляются автоматически сервером SQL. Лично я склонялся к другим путям, прежде чем использовать БД для кеширования (Является ли SQL-запрос действительно частью, требующей повышения производительности? Могу ли я упростить ситуацию в приложении с помощью представления SQL?)

Когда вы говорите манипулируя данными, какая операция вы выполняете, это так дорого? Вы имеете в виду вставку/обновление/удаление? Если использование статистических данных требует интенсивной записи, вы можете рассмотреть возможность удаления индексов для ускорения изменений данных.

Answer 2

Помог бы вам помочь в том, что вы сможете выполнять вычисления всякий раз, когда появляются новые данные, что приводит к отсутствию устаревших данных.

Это было бы полезно, если чтение намного выше, чем запись. Если я делаю 2 записи для каждого чтения, это будет плохой дизайн.

Некоторые подробности о том, что вы делаете, было бы полезно

Answer 3

Расчет на вставной-основе, безусловно, путь, ИМХО.

Чтобы покрыть проблемы, скажем, не будучи в состоянии генерировать новую статистику сразу (потому что у вас нет расчетных данных), вы можете:

• Run насыпного отчет о новом стата отсутствует

или

• Вычислить его на лету и слияния с кэшем

В зависимости от вашей модели кэширования статистика может быть не синхронизирована, или они могут и не быть. Если это с триггерами, это происходит немедленно (при вставке в tblFoo обновление tblFooStats); но вы можете получить это по мере необходимости.

Я бы подумал, что единственный реальный риск, как упоминалось, не может сразу добавить новую статистику/расчеты. Если вы прикрываете это, жизнь должна быть довольно приятной.