Архитектура базы данных с использованием Redis + Node.js

Question

Следуя некоторым другим вопросам SO, я разрабатываю приложение для мониторинга веб-сайтов в качестве проекта для домашних животных с целью узнать больше о Node.js + Redis.

Я планировал, чтобы пользователи добавляли URL-адреса и добавляли их в Redis SET. Каждую минуту я получаю результаты SET, выполняю запрос HTTP Get и печатаю ответ.

Это, кажется, работает хорошо, однако, у меня есть несколько вопросов:

1. Учитывая, что Redis SET не допускает повторные ключи (которые сэкономят мне делать запрос на тот же URL), как я могу контролировать, когда пользователь удаляет URL-адрес из своей учетной записи, а другой пользователь имеет тот же URL-адрес? Могу ли я иметь значение INCR в URL-адресе, чтобы узнать, сколько у пользователей URL-адреса в их учетной записи?

2. Учитывая, что я могу сделать запрос HTTP каждую минуту, и я хочу использовать Redis для сохранения результатов (время отклика, вверх/вниз, и т.д.), , что это лучший способ сохранить все эти данные в Redis (результаты от запросов к каждому URL-адресу каждую минуту)? Должен ли я сохранять каждый ответ в уникальном ключе Redis?

3. Для того, чтобы показать результаты пользователю в режиме реального времени, что является лучшим способом запроса результатов и анализа его в реальном времени?

Спасибо за помощь.

Answer 1

Я думаю, вы должны начать писать прототип в redis-cli. Также я хотел бы отметить эту очень хорошую статью от Simon Willison explaining redis.

Учитывая, что Redis SET не позволяет повторяющиеся ключи (который спасет меня от делает запрос на тот же URL), как я контролировать, когда пользователь удаляет URL со своего счета, но другого пользователя имеет тот же URL-адрес? Могу ли я иметь значение INCR в ключе URL, чтобы я знал, как у у многих пользователей есть URL-адрес в их учетной записи ?

Я бы использовалINCR для этого.

SADD urls http://www.google.com 
INCR http://www.google.com 

Чтобы удалить http://www.google.com я бы просто сделать:

DECR http://www.google.com 
#Only if DECR http://www.google.com => 0, then you should remove from SET 
SREM urls http://www.google.com 

Учитывая, что я могу сделать запрос HTTP каждый минут, и я хочу использовать Redis, чтобы сохранить результаты (время отклика, до/down, и т. д.), что лучше всего сохранить все , что данные в Redis (результаты от запросов к каждому URL-адресу каждую минуту)?

Я хотел бы использовать уникальный ключ для каждого URL и записывать данные обратно в Redis, как JSON (JSON.stringify(obj)) с использованием MSET.

MSET data:http://www.google.com "{json for google}" data:http://www.yahoo.com "{json for yahoo}" 

Для того, чтобы показать результаты пользователю в режиме реального времени, что самый лучший способ запроса результаты и анализировать его в режиме реального времени?

Я хотел бы получить результаты через MGET и разобрать JSON (obj = JSON.parse(json-string)).