Spark Streaming и высокая доступность

Question

Я создаю приложение Apache Spark, которое действует на несколько потоков.

Я прочитал Tuning раздел Производительность документации: http://spark.apache.org/docs/latest/streaming-programming-guide.html#performance-tuning

То, что я не получаю:

1) Расположены на потоковые приемники на нескольких узлах рабочих или машины водитель?

2) Что произойдет, если один из узлов, которые получают данные не удается (выключение/перезагрузка)

Answer 1

ли потоковые приемники, расположенные на нескольких узлах рабочих или машина водителя

Ресиверы расположены на рабочих узлов, которые несут ответственность за потребление источника, который хранит данные.

Что произойдет, если один из узлов, которые получает данные не удается (мощность выключение/перезагрузка)

Приемник находится на узле работника. Рабочий узел получает свои задачи из драйвера. Этот драйвер может быть расположен на выделенном главном сервере, если вы работаете в режиме клиента, или он может быть на одном из рабочих, если вы работаете в режиме кластера. В случае сбоя узла, который не запускает драйвер, драйвер повторно назначает разделы, хранящиеся на удаленном узле, другому, который затем сможет перечитать данные из источника и выполнить дополнительную обработки, необходимой для восстановления после сбоя.

Именно поэтому необходим повторно используемый источник, такой как Kafka или AWS Kinesis.