Обеспечения объекта в свече потокового работает на конкретном узле

Question

у вас есть искра потоковой настройки, такие как

JavaReceiverInputDStream<...> rndLists = jssc.receiverStream(new JavaRandomReceiver(...)); 

rndLists.map(new NeuralNetMapper(...)) 
    .foreach(new JavaSyncBarrier(...)); 

Есть ли способ гарантировать, что, скажем, JavaRandomReceiver и JavaSyncBarrier получить распределены на тот же узел? Или это даже вопрос, который имеет смысл?

Некоторая информация о том, как раскалывание свечей происходит через кластер, также будет весьма признательна.

Answer 1

Вы можете попробовать собственное разбиение на разделы. Проверьте эту ссылку:

https://www.safaribooksonline.com/library/view/learning-spark/9781449359034/ch04.html