Как добавить свойство mapreduce.reduce.memory.mb в EMR Cluster в шаблон Cloud Formation?

Question

Я изучил, как изменить значения по умолчанию, которые EMR предоставляет кластеру в зависимости от типа машины.

В моем случае это довольно простая настройка m4.large как основного и c3.2xlarge как ядро ​​и то же самое для задачи. Значение, которое EMR устанавливает для этого свойства в Задаче, - 2880 (от http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/TaskConfiguration_H2.html). Однако мне нужно увеличить значение по умолчанию.

Я пытаюсь изменить эту конфигурацию по умолчанию в своем шаблоне Cloud Formation, но по какой-то причине он ее не принимает. Это то, что я добавляю в шаблон CF, я не могу показаться, чтобы найти примеры этого онлайн:

"Configurations" : [{ 
     "Classification": "mapred-site", 
     "Properties": { 
     "mapreduce.reduce.memory.mb": "4096" 
    }}] 

Любая помощь будет принята с благодарностью!

Answer 1

У меня была аналогичная проблема, решение для меня заключалось в изменении имени ключа от Properties до ConfigurationProperties, потому что синтаксис в CF определенно несколько отличается от того, который вы использовали бы в разделе конфигурации EMR.

Попробуйте это:

"Configurations": [ 
    { 
     "Classification": "mapred-site", 
     "ConfigurationProperties": { 
     "mapreduce.reduce.memory.mb": "4096" 
     }, 
     "Configurations": [] 
    } 
]