хранилище двигателя: как быстро найти этот ключ не существует

Question

Наш распределенный проект хранения с использованием LevelDB в качестве механизма хранения и memcached в качестве уровня кэша, у нас есть один сценарий: 95% запросов с ключами не существует в движке хранения.

В слое memcached, если не удается найти ключ, затем запросите LevelDB.

В LevelDB мы используем фильтр цветения по умолчанию, чтобы выяснить, существует или нет ключ, но все еще имеют 1% ложноположительную скорость. Из-за 1% -ного процента мы должны запрашивать стоимость через IO, что не может быть терпимо к клиенту. (95% ключей не существует)

Есть ли лучшее решение узнать, существует ли ключ?

Обновление: 1. Ключи генерируются каждый день (userid + date), один раз не может получить ключ, а затем клиент будет помещать значение в уровень хранения. 2. Клиент хотите прочитать латентность (TP99) < х мс (клиент чувствительных к задержкам)

Answer 1

Я думаю, что есть два способа, которые могут быть использованы для улучшения вашего решения:
1. Предположим, что все ключи, которые могут запросить находятся в ограниченном наборе. Возможно, вы можете поместить все ключи в набор, те, которые не существуют со значением типа «FALSE».
2. улучшите производительность leveldb. отрегулируйте размер кеша таблицы и размер блока или используйте ssd в качестве носителя.
Мы используем leveldb как постоянное хранилище kv в продуктивной среде и поддерживаем такие приложения, как черный список, который похож на ваш сценарий.