Как ограничить использование ресурсов заданием в YARN

Question

Я помню, что в недавней версии YARN есть параметр конфигурации, который управляет объемом памяти (или ядер), которое может использовать задание. Я пытался найти его из Интернета, но я еще не мог. Если вы знаете параметр, пожалуйста, дайте мне знать.

Я знаю, что один из способов сделать это - использовать какой-то планировщик, но пока мне нужен контроль уровня работы, чтобы работа не злоупотребляла всей системой.

Спасибо!

Answer 1

Вы можете управлять максимальным и минимальным ресурсом, который выделяется для каждого контейнера.

• yarn.scheduler.minimum-allocation-mb: Минимальное выделение памяти для каждого контейнера
• yarn.scheduler.maximum-allocation-mb: Максимальное выделение памяти для каждого контейнера
• yarn.scheduler.minimum-allocation-vcores: Минимальное выделение ядра для каждого контейнера
• yarn.scheduler.maximum-allocation-vcores: Максимальное распределение ядра для каждого контейнера

Если вы хотите избежать злоупотребления работой пользователя, yarn.scheduler.maximum-allocation-* может быть solu потому что RM отказывается от запроса, который требует выше этих ограничений, бросая InvalidResourceRequestException.

ref: yarn-default.xml