Ambari масштабирование памяти для всех служб

Question

Первоначально у меня было две машины для настройки hadoop, spark, hbase, kafka, zookeeper, MR2. Каждая из этих машин имела 16 ГБ оперативной памяти. Я использовал Apache Ambari для установки двух машин с вышеупомянутыми услугами.

Теперь я обновил ОЗУ каждой из этих машин до 128 ГБ.

Как я могу теперь рассказать Амбари о расширении всех своих услуг, чтобы использовать дополнительную память?

Нужно ли мне понимать, как память настроена для каждой из этих служб?

Находится ли эта часть в документации Ambari?

Answer 1

Я использовал этот https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.0/bk_installing_manually_book/content/determine-hdp-memory-config.html

Кроме того, SmartSense является обязательным http://docs.hortonworks.com/HDPDocuments/SS1/SmartSense-1.2.0/index.html

Нам необходимо определить ядра, памяти, дисков, и если мы используем Hbase или нет, то скрипт будет предоставлять параметры памяти для пряжи и MapReduce.

root@ttsv-lab-vmdb-01 scripts]# python yarn-utils.py -c 8 -m 128 -d 3 -k True 
    Using cores=8 memory=128GB disks=3 hbase=True 
    Profile: cores=8 memory=81920MB reserved=48GB usableMem=80GB disks=3 
    Num Container=6 
    Container Ram=13312MB 
    Used Ram=78GB 
    Unused Ram=48GB 
    yarn.scheduler.minimum-allocation-mb=13312 
    yarn.scheduler.maximum-allocation-mb=79872 
    yarn.nodemanager.resource.memory-mb=79872 
    mapreduce.map.memory.mb=13312 
    mapreduce.map.java.opts=-Xmx10649m 
    mapreduce.reduce.memory.mb=13312 
    mapreduce.reduce.java.opts=-Xmx10649m 
    yarn.app.mapreduce.am.resource.mb=13312 
    yarn.app.mapreduce.am.command-opts=-Xmx10649m 
    mapreduce.task.io.sort.mb=5324 

Кроме того, у нас есть формулы для расчета его вручную. Я пробовал с этими настройками, и он работал на меня.

Answer 2

Ambari рассчитывает рекомендуемые настройки использования памяти каждой службы во время установки. Таким образом, изменение в установке почты не будет увеличиваться. Вам нужно будет вручную отредактировать эти настройки для каждой службы. Для этого вам необходимо понять, как память должна быть настроена для каждой службы. Я не знаю ни одной документации Ambari, которая рекомендует значения конфигурации памяти для каждой службы. Я бы предложил один из следующих маршрутов:

1) Взгляните на каждую документацию по услугам (YARN, Oozie, Spark и т. Д.) И взгляните на то, что они рекомендуют для конфигураций параметров, связанных с памятью.

2) Взгляните на код Амбари, который вычисляет рекомендуемые значения для этих параметров памяти и использует эти уравнения для получения новых значений, которые учитывают увеличенную память.