восстановление Сбой в искры, работающих на HDinsight

Question

Я пытался получить Apache искровой работать на Azure HDinsight, следуя инструкциям из http://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-spark-install/

мне было интересно, если я должен управлять ведущий/ведомый восстановления после сбоя сам, или будет HDinsight заботиться о ней.

Answer 1

Я также работаю над приложениями Spark Streaming на Azure HDInsight. В работе Spark Spark and Yarn может обеспечить некоторую отказоустойчивость для Master и Slave.

1. Но иногда водитель и работник также могут пострадать от ошибки пользовательского кода, искровых внутренних проблем и проблем с Azure HDInsight. Итак, нам нужно сделать собственный процесс мониторинга/демон и поддерживать восстановление.
2. Для Потоковое Сценарии, это еще сложнее. Как работа Spark Streaming, в которой нужно работать 7 * 24, есть проблема, связанная с тем, как сохранить восстановление задания для машины перезагрузить и переиздать.