В чем разница между очередями YARN и hive2?

Question

В чем разница между yarn.scheduler.capacity.root.queues и hive.server2.tez.default.queues?

Answer 1

Вкратце:

hive.server2.tez.default.queues значения являются подмножеством yarn.scheduler.capacity.root.queues (Если емкость планировщика конфигурируется в ПРЯЖИ, если не других планировщика) значений.

---

Подробный ответ:

hive.server2.tez.default.queues: (по умолчанию: пусто)

список значений, разделенных запятой, соответствующие ПРЯЖИ очередей . Когда HiveServer2 запускается в режиме Tez, эту конфигурацию необходимо установить для нескольких сеансов Tez для работы в , параллельном кластеру.

Этот НЕ означает, что запросы не могут быть выданы другим «существующим» очереди, определенных в планировщике мощности. source

---

yarn.scheduler.capacity.root.queues:

CapacityScheduler имеет заранее заданную очередь с именем корня. Все очереди в системе - это дети корневой очереди. Дальнейшие очереди можно настроить, настроив yarn.scheduler.capacity.root.queues со списком разделенных запятыми дочерних очередей. source, setting up capacity scheduler

Таким образом, объем hive.server2.tez.default.queues является только ДО запросов Hive, но yarn.scheduler.capacity.root.queues сферы будет для всех компонентов (например, MapReduce и Спарк) в кластере, которые используют НИТИ в качестве менеджера ресурсов.