Отправить задание на Azure HDInsight удаленно

Question

У меня есть Azure HDInsight Spark кластер настроен. Я хотел бы отправить работу удаленно в мой кластер:

import org.apache.spark.api.java.JavaSparkContext; 
import org.apache.spark.api.java.JavaRDD; 
import org.apache.spark.SparkConf; 

public class App 
{ 
    public static void main(String[] args) 
    { 
     SparkConf conf = new SparkConf().setAppName("App").setMaster("spark://12.34.56.78:7077"); 
     JavaSparkContext sc = new JavaSparkContext(conf); 
    } 
} 

Кластер был создан в режиме пряжи. Мастер для работников искры - «пряжа-клиент». Было бы желательно напрямую подключиться к имени хоста или IP-адресу.

Что было бы хорошим путем?

Answer 1

Вы можете отправить работу удаленно с помощью службы Livy. Пожалуйста Reffer к этой документации о том, как сделать это: https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-livy-rest-interface

Answer 2

Ответил другой путь подачи задания в свой комментарий, вы можете попробовать использовать REST API Batch Job для HDInsight Спарк, пожалуйста, обратитесь к ссылке https://docs.microsoft.com/en-us/rest/api/hdinsightspark/hdinsight-spark-batch-job знать его ,