Восстановление Hadoop NameNode Отказ

Question

Сценарий 1:

HDFS fsimage и editlog записывается в нескольких местах, в том числе монтируемого.

A) NameNode Daemon Крушения: Решение: Просто перезапустить процесс NameNode

B) Хост является нисходящим, где имя узла работает.

Решение:

1. Запустите NameNode в другом хосте с пустым dfs.name.dir
2. Направьте dfs.name.dir к NFS горе, где мы имеем копию мета-данных. ИЛИ
варианта
3. Использование --importCheckpoint при запуске NameNode после указывая fs.checkpoint.dir к пункту каталога из вторичного NameNode
4. Измените fs.default.name к резервному имени хоста URI и перезапустить кластер со всем ведомым IP в ведомом файле.

Примечание. Мы можем пропустить редактирование, которое могло произойти после последней контрольной точки.

Сценарий 2:

fsimage HDFS записывается в один каталог.

A) NameNode Daemon Крушения: Решение: Неизвестный

B) Хост вниз, где имя узла работает.

Решение:

1. Создайте пустой каталог, указывающий на dfs.name.dir в каталог в (1)
2. Запуск NameNode с -importCheckpoint после указывая fs.checkpoint.dir к пункту каталог из вторичного NameNode
3. Измените файл fs.default.name на URI резервной копии имени хоста и перезапустите кластер со всеми подчиненными IP-адресами в файле подчиненных устройств.

Таким образом, мы снова пропустим файлы, отредактированные после последней контрольной точки.

Пожалуйста, дайте мне знать, если мы сможем вручную восстановить кластер.

Answer 1

В процессе производства вы должны запустить NameNodes в режиме HA с помощью quorum of journalling nodes или общего файла HA-NFS storage для файлов транзакций редактирования журнала. Если вы не хотите или используете HA, вам нужно запустить NN с как минимум двумя каталогами хранилища для обоих изображений и журналов редактирования, предпочтительно, в качестве точки монтирования NFS с мягким монтажом для автоматического останова системы имен ,

Если у вас есть только один каталог хранилища и нет конфигурации HA, то лучшее, что вы можете получить, это контрольная точка за прошлый период - если вы потеряете все файлы. Если вы не потеряли файлы, вы можете попробовать опцию hadoop namenode -recover, как показано на рисунке post, чтобы иметь возможность восстановить изображение, а также некоторые (или все) изменения.