Пряжа показывает больше ресурсов, чем кластер

Question

Я запускаю кластер EMR с 3 экземплярами m3.xlarge (1 мастер & 2 раба), и у меня есть некоторые проблемы.

Из документации aws m3.x большой экземпляр имеет 4 vcpu (https://aws.amazon.com/ec2/instance-types/). Что это значит? Это означает, что 4 нити или 4 сердечника с 2 нитями на каждый сердечник? Я прошу вас, потому что, когда я открываю пользовательский интерфейс hadoop (порт 8088), по-видимому, 8 доступных vcore для каждого экземпляра, но из того, что я испытал, кластер ведет себя как 2 экземпляра с 4 vcore для экземпляров. Я ошибаюсь? Или это ошибка от Amazon или пряжи?

Answer 1

Значение 8 vcores происходит от собственности

<property> 
    <name>yarn.nodemanager.resource.cpu-vcores</name> 
    <value>8</value> 
    <description>Number of vcores that can be allocated for containers. This is used by the RM scheduler when allocating resources for containers. This is not used to limit the number of physical cores used by YARN containers.</description> 
</property> 

Пряжа по умолчанию Хотя она определяется на более высокое значение, чем фактическое количество vcores в экземпляре, будут созданы контейнеры на основе количества vcores на самом деле доступный для экземпляра nodemanager.

Изменить стоимость этого свойства: yarn-site.xml согласно экземпляру vcores.