YARN: Контейнеры и JVM

Question

Может кто-нибудь помочь мне понять связь между JVM и контейнерами в YARN?

• Как создаются JVM, это одна JVM для каждой задачи? возможно ли одновременное выполнение нескольких задач в одной JVM? (Я знаю об укрытии, когда многие задачи (карты/сокращение) могут запускаться в одном JVM один за другим).
• Это один JVM для каждого контейнера? или несколько контейнеров в одной JVM? или нет никакой связи между JVM и контейнерами?
• Когда диспетчер ресурсов выделяет контейнеры для задания, выполняет ли несколько задач внутри одного и того же задания один и тот же контейнер для задач, выполняемых на одном узле? или отдельных контейнеров для каждой задачи на основе доступности?

Указатели на полезные ссылки также будут полезны.

Answer 1

Это один JVM для каждого контейнера? или несколько контейнеров в одной JVM? или нет никакой связи между JVM и контейнерами?

Конечно, существует связь, и это взаимно однозначно. Для каждого контейнера, который необходимо создать, создается новый Java-процесс (JVM).

Теперь, если вы не работаете в режиме убер, рассмотрим следующее: -

Как создаются виртуальные машины, это одна JVM для каждой задачи? возможно ли одновременное выполнение нескольких задач в одной JVM? (Я знаю об укрытии, когда многие задачи (карты/сокращение) могут запускаться в одном JVM один за другим).

См., Задачи запланированы для запуска на каком-либо узле кластера. В соответствии с требованиями (память и процессор) задачи определяется емкость контейнера. Также есть определенные параметры для этого, которые вы можете найти в ссылках ниже.
Каждая попытка задачи назначается на JVM.

Когда диспетчер ресурсов выделяет контейнеры для задания, выполняет ли несколько задач внутри одного и того же задания тот же контейнер для задач, выполняющихся на одном узле? или отдельных контейнеров для каждой задачи на основе доступности?

Отдельные контейнеры для каждой задачи порождаются на основе доступности ресурсов в кластере.

Вот некоторые ссылки, которые очень являются helpful-
http://ercoppa.github.io/HadoopInternals/AnatomyMapReduceJob.html
https://blog.cloudera.com/blog/2015/09/untangling-apache-hadoop-yarn-part-1/
http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/