Каковы преимущества и недостатки Hadoop HA QJM и NFS?

Question

Существуют ли какие-то правила, когда нам нужно использовать QJM или NFS для высокой доступности Hadoop?

Answer 1

QJM явно лучше, чем NFS.

От Apache странице документации:

Для того, чтобы узел ожидания, чтобы сохранить свое состояние синхронизированного с активным узлом, текущая реализация требует, чтобы два узла оба имеют доступ к каталогу на общем устройстве хранения данных (например, монтирование NFS из NAS). Это ограничение, скорее всего, будет смягчено в будущем.

Если монтируется NFS или возникли некоторые проблемы, то высокая доступность не может быть достигнута.

В QJM редактирование записывается в несколько узлов журнала, а вероятность отказа меньше по сравнению с опцией NFS.

Связанные SE вопрос:

Secondary NameNode usage and High availability in Hadoop 2.x