Каждое приложение, представленное клиентом, может запускать сколько контейнеров YARN в каждом диспетчере узлов?

Question

Контейнер представляет собой абстрактное понятие в YARN. При запуске Spark на YARN каждый исполнитель Spark запускается как контейнер YARN. Сколько контейнеров YARN может быть запущено в каждом диспетчере узлов, каждым приложением, отправленным клиентом?

Answer 1

Вы можете запускать столько исполнителей на одном NodeManager, сколько хотите, если у вас есть ресурсы. Если у вас есть сервер с 20 ГБ оперативной памяти и 10 ядер, вы можете запустить 10 2gb 1core исполнителей на этом nodemanager. Было бы нецелесообразно запускать несколько исполнителей на том же nodemanager, что и накладные расходы при перетасовке данных между исполнителями, даже если они обрабатываются на одном компьютере.