В настоящее время, когда мастер кластера EMR остановлен (поведение при выключении: остановка вместо прекращения), мы теряем кластер, поскольку EMR был заархивирован с учетом того, что мастер остановлен, кластер завершен. Мы находимся в мире, где аппаратный сбой довольно распространен, и когда-нибудь в будущем мастер EMR может потерпеть неудачу, то как мы можем восстановить данные, хранящиеся в кластере EMR?AWS EMR-кластер завершается, пока мастер не работает
Аналогично, если основной узел выключен и пытается выполнить жесткую перезагрузку (остановка и запуск); завершает работу основного узла, а инициализированный базовый узел подходит для выполнения требуемой емкости ядра, и мы теряем все данные (HDD) от завершенного основного узла (повреждение данных).
Есть ли какое-либо решение для предотвращения этих типов терминалов?
Благодарим вас за ответ, но я проверил его по-разному, и он прекращает работу кластера всякий раз, когда мы останавливаем главный узел в EMR. Такие проекты должны быть пересмотрены, чтобы иметь эффективную архитектуру для клиентов. –
Да, кластер завершается, когда главный узел остановлен, что очевидно, так как это узел ** master **. Я просто говорю, что маловероятно, что это произойдет из-за сбоя оборудования по экземплярам EC2 по требованию. Конечно, если вы вручную остановите главный узел, весь кластер завершится. Это не относится к основным узлам, которые могут выйти из строя, не затрагивая кластер. – jperezr21
Итак, это мой вопрос, почему AWS разработал EMR таким образом, что если мы остановим мастер-узел, то он прекратит кластер? И почему остановка основного узла завершает экземпляр. Может быть сценарий, в котором я хочу иметь жесткую перезагрузку экземпляра, но я не могу его использовать в EMR. –