Сохраняющийся Spark Jobserver NamedObjects с использованием Java

Question

Используя Spark Jobserver 0.6.2 и Apache Spark 2.0.2, я уже реализовал некоторые функции. Но я не могу найти, как перенести набор данных, который будет использоваться для разных задач в конкретном контексте в java. Эта функция доступна только для Scala? Потому что в Интернете я могу найти примеры Scala. У меня есть проверка на java, и в job-server-api_2.11.jar есть некоторые классы NamedObject *, но я не знаю, как их использовать. На самом деле мои занятия занимают от spark.jobserver.JavaSparkJob.

Спасибо.

Answer 1

1. Вы не можете использовать Job server 0.6.2 с Spark 2.0.2. См. Матрицу совместимости в README.md (https://github.com/spark-jobserver/spark-jobserver#version-information)

2. Возможно, вам придется использовать ветвь spark-2.0-preview.

3. Вот поток, который рассказывает о новом API NamedObjects в java. Один из потоков имеет последний пример использования нового API в качестве приложения тоже https://groups.google.com/forum/?utm_medium=email&utm_source=footer#!msg/spark-jobserver/lFpuiQp4toU/xkZtkxTHBAAJ