Как установить приложение в Hadoop Cluster используя YARN?

Question

Я пытаюсь узнать YARN. Но я попал в блокпост. У меня есть некоторые вопросы.

1. Для каждого приложения узлы данных должны иметь контейнер каждый. Но, эти контейнеры создаются сами по себе, при запуске приложения или нам нужно их создавать?

2. В докеров вы можете получить доступ к контейнерам, которые ведут себя как отдельные машины. Можем ли мы получить доступ к контейнерам аналогичным образом?

3. В докеров контейнер не может видеть снаружи контейнера и ведет себя как собственная система, из-за которой у него есть идентификатор процесса контейнера, а с хост-машины он имеет идентификатор процесса. Другими словами, контейнеры изолированы от других процессов. Есть ли аналогичная концепция в YARN?

Спасибо заранее! :)

Answer 1

YARN - это не то, что вы думаете. Это не для запуска докерных контейнеров. YARN предназначен для запуска распределенных приложений (Spark, MapReduce и т. Д.).

1. Вы не можете «установить» приложение в YARN. Вы можете «запустить» приложение в YARN.

2. Контейнер представляет собой абстракцию YARN, чтобы указать, что каждый процесс распределенного приложения будет выполняться с ограниченными ресурсами, назначенными ему YARN. Вы не можете получить доступ к контейнеру, так как это всего лишь процесс Java.

3. Как я уже упоминал ранее, контейнер в YARN является обычным процессом linux. Вы сможете увидеть его pid, выполнив что-то вроде ps.