Spark-submit не работает, когда приложение jar находится в hdfs

Я пытаюсь запустить искровое приложение, используя bin/spark-submit. Когда я ссылаюсь на свою прикладную банку внутри локальной файловой системы, она работает. Тем не менее, когда я скопировал мое приложение банку каталога в HDFS, я получаю следующее исключение:Spark-submit не работает, когда приложение jar находится в hdfs

Предупреждения: Пропуск удаленных фляги HDFS: // Localhost: 9000/пользователь/HDFS/банки/простой проект-1.0 -SNAPSHOT.jar. java.lang.ClassNotFoundException: com.example.SimpleApp

Вот команда:

$ ./bin/spark-submit --class com.example.SimpleApp --master local hdfs://localhost:9000/user/hdfs/jars/simple-project-1.0-SNAPSHOT.jar

Я использую Hadoop версии 2.6.0, искровой версия 1.2.1

источник

2015-02-26 dilm

Что вы, наконец, решили здесь? Вы переключились на YARN или нашли другое обходное решение? Санджив, внизу, указывал на ошибку, которая кажется периферийной. Вы попробовали --deploy-mode cluster? Спасибо, интересная ошибка, если это действительно ошибка, и, похоже, она не была напрямую передана JIRA. Возможно, проверьте [this] (https://issues.apache.org/jira/browse/SPARK-10643) – JimLohse

Единственный способ это работает для меня, когда я использую

--master пряжу-кластер

источник

2015-04-02 01:05:50 Romain

Что делать, если они не хотят использовать YARN? Я вижу, что это принятый ответ, но ОП пытался использовать локальные [*]? Eeen-teresting. – JimLohse

Да, это должен быть локальный файл. Я думаю, что это просто ответ.

источник

2015-02-26 10:30:18

Но в [официальной документации] (https://spark.apache.org/docs/1.2.1/submitting -applications.html), он заявил там, что: «application-jar: путь к объединенной банке, включая ваше приложение и все зависимости. URL-адрес должен быть глобально видимым внутри вашего кластера, например, путь ** hdfs: // ** или файл: // путь, который присутствует на всех узлах. " – dilm

@dlim хорошая точка. Это стоит вопрос в список рассылки user @. Из skimming кода он выглядит так, что он только позволяет локальные файлы –

Спасибо. На данный момент я попробую список рассылки. – dilm

Для того, чтобы библиотека HDFS доступны искровым работу, вы должны запустить работу в кластерный режим.

$SPARK_HOME/bin/spark-submit \ 
--deploy-mode cluster \ 
--class <main_class> \ 
--master yarn-cluster \ 
hdfs://myhost:8020/user/root/myjar.jar

Также есть Spark JIRA для клиентского режима, который еще не поддерживается.

SPARK-10643: скачать Поддержка HDFS приложение в режиме клиента искрой представить

источник

2016-02-23 10:50:46 Sanjiv

Приятный ответ мне должен быть принят :), но вы не показываете режим кластера, вы показываете пряжу, вам нужно «-deploy-mode cluster» и '--master spark: // yourmaster: 7077' вместо' --master пряжи-кластер'? Если OP сказал, что использует YARN, я пропустил его, хотя, думаю, HDFS - это хорошая подсказка. Я думаю, как заявлено, ОП пытается использовать менеджера вакансий Spark и найти ошибку в локальном режиме? – JimLohse

Существует обходной путь. Вы можете установить каталог в HDFS (который содержит вашу банку приложения) в качестве локального каталога.

Я сделал то же самое (с лазурной хранения больших двоичных объектов, но она должна быть похожа на HDFS)

пример команды для лазурного wasb

sudo mount -t cifs //{storageAccountName}.file.core.windows.net/{directoryName} {local directory path} -o vers=3.0,username={storageAccountName},password={storageAccountKey},dir_mode=0777,file_mode=0777

Теперь в вашей искру подать команду, вы предоставляете путь от команды выше

$ ./bin/spark-submit --class com.example.SimpleApp --master local {local directory path}/simple-project-1.0-SNAPSHOT.jar

источник

2016-03-03 18:37:50

Spark-submit не работает, когда приложение jar находится в hdfs

ответ

Смежные вопросы