Почему пользовательский интерфейс Spark показывает только 6 ядер на одного работника, в то время как у меня есть больше?

Question

Почему в Spark UI отображаются только 6 ядер доступно на одного работника (не число ядер использовано), в то время как у меня есть 16 на каждой из моих 3 машин (8 гнезд * 2 ядра/гнездо) или даже 32, если взять учет количества потоков на ядро ​​(2). Я попытался установить SPARK_WORKER_CORES в файле spark-env.sh, но ничего не изменил (я внес изменения на всех трех рабочих). Я также закомментировать строку, чтобы увидеть, если это что-то меняет: количество ядер доступны всегда застрял на 6.

Я использую Спарк 2.2.0 в автономном кластере:

pyspark --master spark://myurl:7077 

результат команды lscpu:

Answer 1

Я обнаружил, что мне просто пришлось остановить мастер и подчиненные устройства и перезапустить их, чтобы обновить параметр SPARK_WORKER_CORES.