Федерация HDFS: Представление карты Сокращение рабочих мест между несколькими узлами имен

Question

Согласно документации Apache по адресу Hdfs Federation, система масштабируется через федерацию нескольких узлов имен изолированно.

Несколько Namenodes/Пространство имен

Для того, чтобы масштабировать службу имен по горизонтали, федерация использует несколько независимых Namenodes/пространства имен. Namenodes объединяются; Namenodes являются независимыми и не требуют координации друг с другом. Datanodes используются как общее хранилище для блоков всеми Namenodes.

Мой Только сомнения:

Я не видел ни одного центрального координатора между узлами имени, поскольку все работают изоляции. Так запутались, как рабочие места подаются и обрабатываются.

1) Если я отправлю работу с уменьшением карты, какой узел имени будет обрабатывать ее? ИЛИ

2) Должен ли клиент знать узел имени, для которого должно быть отправлено задание?

Если клиент не знает, на каком узле имени, должен быть некоторый узел «Мастер имени», чтобы позаботиться о назначении задания конкретному узлу имени.

Как это работает?

Заранее спасибо.

Answer 1

Федерация Hadoop является частью HDFS. программа-сокращение программы и т. д., контролируется пряжей.

Пряжа имеет диспетчер ресурсов, который будет обрабатывать работу. Менеджер ресурсов может связываться с узлами имен (все три в этом случае) и получать адрес, где существуют данные. это единственный момент, когда NameNode появляется в изображении.

Таким образом, клиент не должен отправлять задание NameNode. Он отправит его менеджеру ресурсов.