Я могу отправить работу spakr на сервере linux с помощью консоли. Но есть ли какой-либо API или какой-либо фреймворк, который может предоставить искровое задание на сервере linux?Есть ли способ отправить искрообразование с помощью API
Вы можете использовать порт 7077 для подачи искровых заданий в искровой кластер вместо использования функции искра-submit.
val spark = SparkSession
.builder()
.master(spark://master-machine:7077)
Написав этот код, искровое задание представит в искровом сервере? –
Выполнение программы с этим предложением автоматически отправляет искровое задание в ваш кластер. Попробуйте и дайте мне знать;) –
Мой вопрос заключается в том, как отправить искрообразование с помощью API? –
вы можете посмотреть на сервер Livy. Он находится в режиме GA в дистрибутивах Hortonworks и Cloudera Apache Hadoop. У нас был хороший успех. его документация достаточно хороша, чтобы начать работу. Работы Spark начинаются мгновенно при передаче через Livy, так как в нем есть несколько SparkContext.
Каков ваш ресурс/менеджер кластера? – mrsrinivas
Работы Spark выполняются на кластерном сервере linux –
Используете ли вы автономный режим YARN или Spark? – mrsrinivas