Распространение изменений в распределенном кэше в памяти

Question

У меня есть приложение, развернутое в кластере из 1000 товарных ящиков. При запуске каждый экземпляр приложения загружает нетривиальное количество данных из базы данных и использует это как кеш. В течение дня около 20% данных кэширования необходимо обновить.

Каковы эффективные способы одновременного обновления данных в памяти всего кластера? Я думал о JMX, Zookeeper, но не уверен, что это будет действительно эффективно/достаточно быстро.

Answer 1

Ну, полагая, что вы используете последовательное хеширование Memcached, сделайте шаг дальше и каждый кеш повторите его ближайший преемник. Это может уменьшить проблему, но не полностью облегчить ее, но это простое решение, Gossip + CRDT - еще одно решение, Dynamo и Riak используют комбинацию Gossip, Consistent Hashing и CRDT.