Big Redis setup

Question

Мне нужно хранить записи 32M в Redis 3.0.1, для каждой записи требуется около 422 КБ. В общей сложности около 13 ГБ информации.

Информация хранится на диске в zped hashlist и сериализована в улыбке jackson. Я использую Java 6, Jedis и AIX.

У меня есть несколько вопросов:

1. Означает ли это, что процесс Redis нуждается 13GB или RAM?
2. Является ли это управляемым размером для одного экземпляра или вы хотите установить кластер? Я думаю, у нас может быть до 4 серверов. Это означало бы пересмотр всего проекта и дат, поэтому, пожалуйста, рассмотрите другие управленческие воздействия на этот вопрос.
3. Есть ли лучший способ хранения этого объема данных?

Благодаря

Carlos

Answer 1

Даже если вы используете Redis Cluster, все ваши данные должны помещаться в памяти. С 13TB данными, указанными Алексом, и ограниченными 4 серверами, как вы сказали, это означает, что каждый сервер должен иметь более 4 ТБ ОЗУ ...

Кроме того, Redis сохраняет данные в памяти в формате, который оптимизированный для скорости, и поэтому не пытается очень сильно уменьшить их размер. Таким образом, на практике может потребоваться более 13 ТБ. Вот почему я бы не рекомендовал Redis в этом случае, или, по крайней мере, не только Redis. Возможно, вам стоит рассмотреть альтернативную базу данных NoSQL, которая предлагает быстрое время отклика, хотя хранит данные на диске, такие как Couchbase (использует Redis internaly как кеш).

Или, если ваш вариант использования позволяет это, самым простым решением было бы добавить кэш Redis в вашу текущую архитектуру без изменения текущей базы данных, которую вы используете. Это будет драматически улучшать скорость доступа к данным в кеше (но не уменьшит первый доступ). Это зависит от того, будут ли данные запрашиваться более одного раза за короткий промежуток времени или нет.