spark-jobserver

0зной

1ответ

Сохраняющийся Spark Jobserver NamedObjects с использованием Java

Используя Spark Jobserver 0.6.2 и Apache Spark 2.0.2, я уже реализовал некоторые функции. Но я не могу найти, как перенести набор данных, который будет использоваться для разных задач в конкретном кон

0зной

1ответ

Журналы показа журналов работы Spark

В автономном режиме я установил искровой сервер-источник (см. https://github.com/spark-jobserver/spark-jobserver/tree/jobserver-0.6.2-spark-1.6.1). Я установил некоторые задания с помощью Scala, кажда

1зной

1ответ

Как запускать несколько заданий по запросу в одном и том же искровом контексте

Я хочу запускать разные задания по запросу с одинаковым контекстом искры, но я не знаю, как именно я могу это сделать. Я пытаюсь получить текущий контекст, но, похоже, он создает новый контекст искры

1зной

1ответ

Слушатель, получающий статус задания от Spark Job Server

Я делаю запросы на отдых, чтобы запросить Spark Job Server, чтобы получить статус задания. Код выглядит следующим образом: private Future<JobResult> getJobResultFuture(String jobId) { ExecutorSe

3зной

1ответ

Мы пытаемся найти способ загрузить подготовленную модель Spark (2.x) ML, чтобы по запросу (через интерфейс REST) мы могли запросить его и получить прогнозы, например. http://predictor.com:8080/give/

8зной

3ответ

почему Livy или spark-jobserver вместо простой веб-структуры?

Я строю API RESTful поверх Apache Spark. Служа следующий сценарий Python с spark-submit, кажется, работает нормально: import cherrypy from pyspark.sql import SparkSession spark = SparkSession.build