Является ли Apache куратором?

Question

У меня есть идея высокого уровня о том, что делают Куратор и Зоукер. Однако я не знаю, управляют ли они информацией в памяти или на диске. Например, «приемники» для барьерной или распределенной очереди предлагают открыть узел (узел - файл?) На определенных путях; эти узлы поддерживаются в памяти или являются файлами на диске/HDFS? Я думаю, что традиционные барьеры через машины теперь должны выполняться через барьер Куратора; следовательно, не будут ли эти операции медленными, если они связаны с тяжелыми операциями?

Как барьер Куратора сравнивается с традиционным барьером MPI с точки зрения производительности?

Answer 1

ZooKeeper - это система с одним лидером, основанная на кворуме, и поэтому, хотя она сохраняет состояние в памяти, она ограничена пропускной способностью, которую может поддерживать лидер. Все изменения состояния в ZooKeeper проходят через лидера и синхронно реплицируются и сохраняются на большинстве узлов, но чтение может выполняться на любом узле.

В ZooKeeper узел (или znode) относится к части состояния, которая хранится в памяти и поддерживается диском. Он использует файловый интерфейс, но znodes не сопоставляются с отдельными файлами. Диск не означает HDFS, это по существу означает журнал фиксации.

То, что вы получаете с помощью ZooKeeper для замков или барьеров, - это линеаризуемость. Стоимость согласованности относительно высока из-за ограничений консенсуса (кворумов). Но ZooKeeper имеет отличную систему уведомлений о событиях, которая помогает с производительностью для таких вещей, как блокировки и барьеры.