1
Мое большое аппаратное оборудование главного узла практически ничего не делает во время моих запусков Hadoop/Spark, потому что YARN использует произвольный подчиненный узел для своего AM для каждой задачи. Мне нравится старый Hadoop 1 путь лучше; много ловушек и ssh боль была предотвращена таким образом, когда все пошло не так.Могу ли я заставить YARN использовать главный узел для контейнера Application Master?
Возможно ли это?
технически ПРЯЖА апи имеет методы для этих манипуляций, как этот https: //hadoop.ap ache.org/docs/r2.6.0/api/org/apache/hadoop/yarn/api/records/ApplicationSubmissionContext.html#setAMContainerResourceRequest(org.apache.hadoop.yarn.api.records.ResourceRequest) – AdamSkywalker
, но я никогда видел какой-нибудь простой пример использования, чтобы понять, как его использовать – AdamSkywalker