Cross проводка от: https://forums.aws.amazon.com/thread.jspa?messageID=766424Автомасштабирование AWS ОГО кластера до 0 узлов
Эй,
Попытки применить эту политику к основной группе например:
{
"Constraints": {
"MinCapacity": 0,
"MaxCapacity": 2
},
"Rules": [
{
"Name": "ScaleUp",
"Action": {
"Market": "ON_DEMAND",
"SimpleScalingPolicyConfiguration": {
"AdjustmentType": "EXACT_CAPACITY",
"ScalingAdjustment": 5,
"CoolDown": 300
}
},
"Trigger": {
"CloudWatchAlarmDefinition": {
"ComparisonOperator": "GREATER_THAN",
"MetricName": "AppsPending",
"Threshold": 0,
"Period": 300
}
}
},
{
"Name": "ScaleDown",
"Action": {
"Market": "ON_DEMAND",
"SimpleScalingPolicyConfiguration": {
"AdjustmentType": "EXACT_CAPACITY",
"ScalingAdjustment": 0,
"CoolDown": 300
}
},
"Trigger": {
"CloudWatchAlarmDefinition": {
"ComparisonOperator": "LESS_THAN_OR_EQUAL",
"MetricName": "AppsRunning",
"Threshold": 0,
"Period": 300
}
}
}
]
}
Но я получаю эту ошибку :
An error occurred (ValidationException) when calling the PutAutoScalingPolicy operation: Auto Scaling constraint parameter minCapacity should be at least 1 for Core Instance Group.
Я не эксперт в области ЭМИ, но из документов, которые, как я думал, это d возможно (я могу создать мастер-кластер вручную в пользовательском интерфейсе, почему эта разница существует?). Главный узел запускает задание в расписании cron, когда он начинает его выполнять, генерирует задание, а затем AutoScaling запускает основные экземпляры для его обработки, уменьшая масштаб при выполнении задания.
Любые предложения?
Thanks, Alex
PS. Чтобы прояснить функциональные требования, я пытаюсь запустить службу панели zeppelin на главной странице, запустить ее пакетное задание каждые 24 часа, для чего потребуется несколько узлов, а затем оставшееся время назад до 0 узлов. С удовольствием рассмотрим другие предложения, чтобы добиться этого, если у меня есть неправильный конец палки.
вместо этого попробуйте планировать кластер emr для запуска каждые 24 часа и выключения. и запишите свои задания zeppelin. – halil