Когда в кластере запущено job, если вдруг NameNode не удается, тогда каков будет статус задания (не удалось или убит)?Каков статус работы, когда Node Nate сбой в YARN?
Если неисправность означает, что кто-то обновляет состояние вакансии?
Как это работает внутри страны?
Я не совсем уверен в следующем, так как я не проверял его. Но это не помешает запустить виртуальную машину и проверить ее на себе.
namenode не обрабатывает статус рабочих мест, это то, что делает пряжа. Если namenode не является HA и он умирает, вы потеряете соединение с HDFS (и, возможно, даже потеряете данные). пряжа будет пытаться повторно связаться с hdfs для нескольких попыток по умолчанию и в конечном итоге тайм-аут и сбой задание.
Резервный Namenode станет активным Namenode с отказом над процессом. Посмотрите на How does Hadoop Namenode failover process works?
YARN архитектура вращается вокруг Resource Manager, Node Manager and Applications Master. Работа будет продолжаться без какого-либо воздействия с отказом наменода. Если какой-либо из трех вышеперечисленных процессов завершится неудачно, восстановление работы будет выполнено в зависимости от соответствующего восстановления процесса.
Resource Recovery Manager:
С поддержкой ResourceManger Restart, РМ продвигаемого (текущий режим ожидания) в активное состояние загружает внутреннее состояние RM и продолжает работать, откуда предыдущий активный кончили как много насколько это возможно в зависимости от функции перезапуска RM. Новая попытка создается для каждого управляемого приложения, ранее отправленного в RM.
Применение Мастер восстановления:
Для MapReduce работает на ПРЯЖИ (ака MR2), МР ApplicationMaster играет роль JobTracker на рабочем месте. Восстановление отказов MRAM контролируется собственностью, mapreduce.am.max-попытками. Это свойство может быть установлено для каждого задания. Если его значение больше 1, тогда, когда ApplicationMaster умирает, новый создается для новой попытки приложения, вплоть до максимальных попыток. Когда запускается новая попытка приложения, задачи в полете прерываются и повторяются, но завершенные задания не повторяются.
Node Manager Recovery:
Во время восстановления, NM загружает состояние приложений из государственного магазина. Состояние для каждого приложения указывает, закончилось ли приложение или нет. Обратите внимание, что для готового приложения больше не будет запущено никаких контейнеров, но оно все равно может быть подвергнуто агрегации журналов. По мере восстановления каждого приложения создается новый объект приложения, и инициируются события инициализации для повторной инициализации бухгалтерского учета для приложения в NM.
На всех этих этапах важную роль играет Job History. Успешно завершена Карта & Уменьшить статус задач будет восстановлен с сервера истории заданий. Этот статус помогает остановить повторный запуск успешно завершенных задач Map/Reduce.
Посмотрите Resource Manager HA статьи, Node Manager restart статьи и YARN HA статьи