Spark on Mesos - Ошибка получения двоичного кода

Question

Пытается запустить работу Spark в кластере Mesos. Ошибка при попытке получить двоичный файл.

Пробовал держать бинарный на:

1. локальной файловой системе HDFS
2. на рабах.

Используется следующий путь для SPARK_EXECUTOR_URI

Filesystem путь - file://home/labadmin/spark-1.2.1.tgz

I0501 10:27:19.302435 30510 fetcher.cpp:214] Fetching URI 'file://home/labadmin/spark-1.2.1.tgz' 
Failed to fetch: file://home/labadmin/spark-1.2.1.tgz 
Failed to synchronize with slave (it's probably exited) 

HDFS пути, без hdfs://ipaddress/spark/spark-1.2.1.tgz

порт-

0427 09:23:21.616092 4842 fetcher.cpp:214] Fetching URI 'hdfs://ipaddress/spark/spark-1.2.1.tgz' 
E0427 09:23:24.710765 4842 fetcher.cpp:113] HDFS copyToLocal failed: /usr/lib/hadoop/bin/hadoop fs -copyToLocal 'hdfs://ipaddress/spark/spark-1.2.1.tgz' '/tmp/mesos/slaves/20150427-054938-2933394698-5050-1030-S0/frameworks/20150427-054938-2933394698-5050-1030-0002/executors/20150427-054938-2933394698-5050-1030-S0/runs/5c13004a-3d8c-40a4-bac4-9c07249e1923/spark-1.2.1.tgz' 
copyToLocal: Call From sclq174.lss.emc.com/ipaddress to sclq174.lss.emc.com:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused 

HDFS путь с портом 50070- hdfs://ipaddress:50070/spark/spark-1.2.1.tgz

I0427 13:34:25.295554 16633 fetcher.cpp:214] Fetching URI 'hdfs://ipaddress:50070/spark/spark-1.2.1.tgz' 
E0427 13:34:28.438596 16633 fetcher.cpp:113] HDFS copyToLocal failed: /usr/lib/hadoop/bin/hadoop fs -copyToLocal 'hdfs://ipaddress:50070/spark/spark-1.2.1.tgz' '/tmp/mesos/slaves/20150427-054938-2933394698-5050-1030-S0/frameworks/20150427-054938-2933394698-5050-1030-0008/executors/20150427-054938-2933394698-5050-1030-S0/runs/2fc7886a-cfff-4cb2-b2f6-25988ca0f8e3/spark-1.2.1.tgz' 
copyToLocal: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: 

Любые идеи, почему его не работает?

Answer 1

Спарк поддержка различных способов Fetching бинарных файлов:

• file: - Абсолютные пути и file:/ URIs обслуживаются HTTP файловым сервером водителя, и каждый исполнитель тянет файл с сервера драйвера HTTP.
• hdfs:, http:, https:, ftp: - это тянуть вниз файлы и баночки из URI, как и ожидалось

• local: - это URI, начиная с local:/, как ожидается, существуют в качестве локального файла на каждом узле рабочего

  1. file://home/labadmin/spark-1.2.1.tgz был недоступен у водителя. Вероятно, вы хотели использовать URI local:/.
  2. Там, наверное, ни один сервер HDFS работает на sclq174.lss.emc.com:8020
  3. Формат URI не распознается Hadoop, вы должны заменить имя хоста фактическим IP-адрес для того, чтобы сделать эту работу, например, 192.168.1.1:50070.