Использование вторичного namenode в Hadoop в 2.x

Question

Насколько я знаю, Hadoop 1.x имел вторичный namenode, но использовался для создания изображения основного namenode, и он обновляет первичный namenode, когда он терпит неудачу, и снова запускает , Но каково использование вторичного namenode в Hadoop 2.x, учитывая, что у нас уже есть горячий резерв?

Answer 1

Насколько я знаю 2.x Hadoop можно сделать 2-мя способами:

1. С HA (High Availability Cluster): если вы настраиваете HA кластера, то вы, возможно, не нужно используйте Secondary namenode, потому что резервный namenode сохраняет свое состояние синхронизированным с Active namenode.

Функция высокой доступности HDFS NameNode позволяет запускать избыточные именаNode в том же кластере в конфигурации Active/Passive с горячим резервом.Both NameNode требует конфигурации того же типа оборудования. В HA hasoop cluster Active NameNode читается и записывается метаданных в отдельном журналеNode.

В случае отказа в режиме ожидания в режиме ожидания NameNode гарантирует, что его пространство имен будет полностью обновлено в соответствии с журналами редактирования до того, как оно будет изменено на активное состояние. Таким образом, в этой настройке кластера нет необходимости в Secondary NameNode.

2. Без HA: вы можете иметь настройку hadoop без резервного узла. Затем вторичный NameNode будет действовать, как вы уже упоминали в Hadoop 1.x

Answer 2

Когда вы настраиваете HA для имен имен, Secondary Namenode не используется. Однако вы можете настроить HDFS без HA (с NameNode и Secondary NameNode). Эта часть не сильно изменилась с hadoop 1.x.