Совместное использование конфигурации Zookeeper для нескольких исполнителей искры

Question

У меня есть информация о конфигурации, записанная в Zookeeper. Я использую Apache Curator для чтения конфигурации (если есть лучшее решение для ее чтения, я рад ее использовать) с Watcher Watcher, поэтому, если конфигурация будет изменена в Zookeeper, я получу новую. Я использую эту конфигурацию в Spark. Как я могу поделиться им со всеми исполнителями искры одного и того же приложения?

Спасибо!

LE:

Спасибо Dikei,

В следующем коде, где бы вы сделали реализацию наблюдатела? Я новичок в искры, и я не совсем уверен, что касается каждого рабочего.

Спасибо!

final JavaDStream<ElementMessage> nodeMessageStream = mapWithStateDistinctAndFiltered.flatMap(pair -> pair._2.buildElementMessages()) 
      .filter(f -> f != null); 

    nodeMessageStream.foreachRDD(rdd -> { 
     rdd.foreachPartition(r -> { 
      final ElementRecordRestClient rest = new ElementRecordRestClient(
        startProps.getProperty(InputPropertyKey.WEPAPP_URL.toString())); 
      r.forEachRemaining(message -> { 
       rest.createObject(message.toElementRecord()); 
      }); 
     }); 
    }); 

Answer 1

Что я буду делать в этом случае, чтобы запустить Куратор Watcher на главном узле, и транслировать конфигурацию всех исполнителю, используя переменную широковещательный искру в. Всякий раз, когда конфигурация изменилась, вы останавливаете текущий контекст потоковой передачи и запускаете новую с новой конфигурацией. Это гарантирует, что ваш результат всегда согласован.

Другой способ - считывать конфигурацию zookeeper внутри функции лямбда foreachPartition. Но поскольку конфигурация читается независимо каждым разделом, разные разделы одного и того же RDD могут иметь разные конфигурации, что может быть не так, как вы ожидали.