У меня есть общий набор данных, который необходимо использовать в нескольких программах/процессах. Как я могу создать один Spark RDD и использовать один и тот же RDD в нескольких программах scala?Как получить доступ к тому же Spark RDD из нескольких сеансов?
Может быть, вы можете посмотреть на IgniteRDD, которые могли бы помочь вам поделиться RDD в нескольких программах Спарк https://ignite.apache.org/features/igniterdd.html
Рассмотрим Spark-Jobserver. Основной задачей Joberver является интерфейс REST, но побочным эффектом является то, что вы можете сохранять RDD в живых и делиться ими между заданиями.