Кто-нибудь скажет мне, какие различия между существующими MapReduce и YARN, потому что я не вижу все явных различий между этими двумя?Различия между существующими MapReduce и YARN (MRv2)
P.S: Я прошу что-то вроде сравнения между ними.
Спасибо!
MRV1 использует JobTracker для создания и назначения задач узлам данных, которые могут стать узким местом ресурса, когда кластер масштабируется достаточно далеко (обычно около 4000 узлов).
MRv2 (aka YARN, «Еще один переговорщик ресурсов») имеет диспетчер ресурсов для каждого кластера, и каждый узел данных запускает диспетчер узлов. Для каждого задания, один подчиненный узел будет выступать в качестве ведущего приложения, мониторинга ресурсов/задач и т.д.
MRv1, который также называют Hadoop 1, где HDFS (Управление ресурсами и планирования) и MapReduce (программирование Framework) тесно связаны. Из-за этого небезопасные приложения не могут быть запущены на hadoop 1. У этого есть один namenode, поэтому он не обеспечивает высокую доступность системы и масштабируемость.
MRv2 (ака Hadoop 2) в этой версии Hadoop управление ресурсами и задачи планирования отделяются от MapReduce, который отделен от ПРЯЖИ (Yet Another ресурсов переговорщика). Уровень управления ресурсами и планирования лежит под слоем MapReduce. Он также обеспечивает высокую доступность системы и масштабируемость, поскольку мы можем создавать избыточные NameNodes. Новая функция моментального снимка, благодаря которому мы можем создавать резервные копии файловых систем, которые помогают аварийному восстановлению.
У Cloudera есть [видео, которое дает визуальное объяснение, чтобы поддержать это здесь] (http://university.cloudera.com/certification/prep/ccdh.html) ... '(16:06 в видео через 22 : 15) ' –
Ссылка не работает – vumaasha