вопросы синхронизации о федерации hadoop

Question

У меня есть некоторые вопросы о федерации hadoop. Насколько я знаю, он имеет несколько мастеров (namenode), работающих одновременно.

Итак, мой вопрос в том, что если у клиента есть запрос, как определить, какой мастер обслуживать запрос от клиента.

Другой вопрос заключается в том, совместимы ли метаданные, хранящиеся в каждом ведущем, друг с другом или нет.

Если данные в мастерах параллельны, тогда как у двух клиентов есть запросы одновременно с двумя разными мастерами, как справляться с проблемами синхронизации.

Надеюсь, что сделаю мой вопрос понятным. Я только читал web на apache hadoop. Любой материал и учебник очень благодарны. И комментарии и исправления очень оценены.

Answer 1

Использование на стороне клиента с таблицами монтирования мы можем отобразить пути к файлам в namenodes (конфигурацию ядра-site.xml ниже)

<property> 
     <name>fs.viewfs.mounttable.default.link./namenode1</name> 
     <value>hdfs://namenode1:9001/home</value> 
    </property> 
    <property> 
     <name>fs.viewfs.mounttable.default.link./namenode2</name> 
     <value>hdfs://namenode2:9001/home</value> 
    </property>} 

пример во время работы пут можно указать путь и запрос отправится в namenode1

bin/hadoop fs -put file.txt /namenode1/input 

В федерации HDFS каждый namenode управляет своими собственными метаданными.