Как настроить пряжу, чтобы использовать все вложения?

Question

Мы работает искра потокового задания с использованием пряжи в качестве менеджера кластера, я посвятил 7 ядер на узле каждому узлу ... с помощью нити-site.xml, как показано на рис ниже

когда это работа выполняется ..Это только с помощью 2 vcores и 5 vcores оставили в покое, и работа идет медленно с большим количеством партий в очереди ..

как мы можем сделать его использовать все 7 vcores .. это доступно для этого, это использование при запуске, так что скорость нашей работы

значительно бы признателен, если какое-либо из экспертов в обществе будет помогать, как мы новы для пряжи & искру

Answer 1

На уровне искры вы можете управлять ядрами главного приложения пряжи путем использования параметров spark.yarn.am.cores.

Для исполнителей искры необходимо пройти --executor-cores до spark-submit.

Однако из-за искры вы не можете контролировать то, что (vcores/memory) пряжа выбирает для размещения в контейнере, который он порождает, что является правильным, так как вы используете искру по нити.
Чтобы контролировать это, вам необходимо изменить параметры vcore пряжи, такие как yarn.nodemanager.resource.cpu-vcores, yarn.scheduler.minimum-allocation-vcores. Подробнее вы можете найти здесь https://www.cloudera.com/documentation/enterprise/5-3-x/topics/cdh_ig_yarn_tuning.html#configuring_in_cm