Передача несколько файлов фляги в DCOS искровых представить, банки с запятыми не подходит

Question

uggestions необходимо, нужно пройти много файлов .jar в ИКА искры представить, банки с запятыми не подходит:

Пробовал ниже вариантов:

dcos spark run --submit-args='--class com.gre.music.inn.orrd.SpaneBasicApp --jars /spark_submit_jobs/new1/unzip_new/* 30' 

dcos spark run --submit-args='--class com.gre.music.inn.orrd.SpaneBasicApp --jars local:* 30' 

dcos spark run --submit-args='--class com.gre.music.inn.orrd.SpaneBasicApp --jars https://s3-us-west-2.amazonaws.com/gmu_jars/* 30‘ . 

Последнее, что не будет работать bcz Я думаю, что дикая карта не допускается с http.

Answer 1

Насколько я знаю, вы не можете использовать подстановочные знаки, и вам нужно разместить JAR где-нибудь там, где Spark может получить к ним доступ распределенным образом (S3, http, hdfs и т. Д.).

См

• http://spark.apache.org/docs/latest/submitting-applications.html#launching-applications-with-spark-submit

application-jar: Путь к комплектной банке, включая приложение и все зависимости. URL должен быть глобально видимым внутри вашего кластера, например, путь hdfs: // или путь file: //, который присутствует на всех узлах.

Answer 2

Обновление от DC/OS:

--jars не поддерживается через dcos spark run (режим кластера Спарк). Мы будем поддерживать его вокруг ~ DC/OS 1.10, когда мы переместим Spark на Marathon вместо диспетчера Spark. В то же время, если вы хотите использовать -jars, вам нужно будет отправить свою работу в режиме клиента через искру-подчинитесь через метроном или марафон.

Answer 3

Вы не можете использовать подстановочные знаки с аргументом --jars в spark-submit. Here's запрос функции для этого (он все еще открыт).