Spring Data Flow Yarn - не удалось получить доступ к jarfile

Question

Я пытаюсь запустить простую задачу весенней партии по потоку данных Spring Cloud для пряжи. К сожалению, пока работает это, я получил сообщение об ошибке в ResourceManager UI:

Application application_1473838120587_5156 failed 1 times due to AM Container for appattempt_1473838120587_5156_000001 exited with exitCode: 1 
For more detailed output, check application tracking page:http://ip-10-249-9-50.gc.stepstone.com:8088/cluster/app/application_1473838120587_5156Then, click on links to logs of each attempt. 
Diagnostics: Exception from container-launch. 
Container id: container_1473838120587_5156_01_000001 
Exit code: 1 
Stack trace: ExitCodeException exitCode=1: 
at org.apache.hadoop.util.Shell.runCommand(Shell.java:545) 
at org.apache.hadoop.util.Shell.run(Shell.java:456) 
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:722) 
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:212) 
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302) 
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82) 
at java.util.concurrent.FutureTask.run(FutureTask.java:262) 
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
at java.lang.Thread.run(Thread.java:745) 
Container exited with a non-zero exit code 1 
Failing this attempt. Failing the application. 

Дополнительная информация из Appmaster.stderror заявил, что:

Log Type: Appmaster.stderr 
Log Upload Time: Mon Nov 07 12:59:57 +0000 2016 
Log Length: 106 
Error: Unable to access jarfile spring-cloud-deployer-yarn-tasklauncherappmaster-1.0.0.BUILD-SNAPSHOT.jar 

Если речь идет о Spring Облако потока данных Я пытаюсь запустить в dataflow-shell:

app register --type task --name simple_batch_job --uri https://github.com/spring-cloud/spring-cloud-dataflow-samples/raw/master/tasks/simple-batch-job/batch-job-1.0.0.BUILD-SNAPSHOT.jar 
task create foo --definition "simple_batch_job" 
task launch foo 

Его действительно сложно понять, почему возникает эта ошибка. Я уверен, что соединение с потоком данных-сервером с пряжей прекрасно работает, потому что в стандартной локализации HDFS (/ dataflow) были скопированы некоторые файлы (servers.yml, банки с заданиями и утилит), но в некотором роде они недоступны.

Моего servers.yml конфигурация:

logging: 
    level: 
    org.apache.hadoop: DEBUG 
    org.springframework.yarn: DEBUG 
maven: 
    remoteRepositories: 
    springRepo: 
     url: https://repo.spring.io/libs-snapshot 
spring: 
    main: 
    show_banner: false 
    hadoop: 
    fsUri: hdfs://HOST:8020 
    resourceManagerHost: HOST 
    resourceManagerPort: 8032 
    resourceManagerSchedulerAddress: HOST:8030 
datasource: 
    url: jdbc:h2:tcp://localhost:19092/mem:dataflow 
    username: sa 
    password: 
    driverClassName: org.h2.Driver 

Я буду рад услышать любую информацию или пружинных пряжи советы & приемов, чтобы сделать эту работу.

PS: Как Hadoop среды я использую Amazon EMR 5,0

EDIT: Рекурсивный путь от HDFS:

drwxrwxrwx - user hadoop   0 2016-11-07 15:02 /dataflow/apps 
drwxrwxrwx - user hadoop   0 2016-11-07 15:02 /dataflow/apps/stream 
drwxrwxrwx - user hadoop   0 2016-11-07 15:04 /dataflow/apps/stream/app 
-rwxrwxrwx 3 user hadoop  121 2016-11-07 15:05 /dataflow/apps/stream/app/application.properties 
-rwxrwxrwx 3 user hadoop  1177 2016-11-07 15:04 /dataflow/apps/stream/app/servers.yml 
-rwxrwxrwx 3 user hadoop 60202852 2016-11-07 15:04 /dataflow/apps/stream/app/spring-cloud-deployer-yarn-appdeployerappmaster-1.0.0.RELEASE.jar 
drwxrwxrwx - user hadoop   0 2016-11-04 14:22 /dataflow/apps/task 
drwxrwxrwx - user hadoop   0 2016-11-04 14:24 /dataflow/apps/task/app 
-rwxrwxrwx 3 user hadoop  121 2016-11-04 14:25 /dataflow/apps/task/app/application.properties 
-rwxrwxrwx 3 user hadoop  2101 2016-11-04 14:24 /dataflow/apps/task/app/servers.yml 
-rwxrwxrwx 3 user hadoop 60198804 2016-11-04 14:24 /dataflow/apps/task/app/spring-cloud-deployer-yarn-tasklauncherappmaster-1.0.0.RELEASE.jar 
drwxrwxrwx - user hadoop   0 2016-11-04 14:25 /dataflow/artifacts 
drwxrwxrwx - user hadoop   0 2016-11-07 15:06 /dataflow/artifacts/cache 
-rwxrwxrwx 3 user hadoop 12323493 2016-11-04 14:25 /dataflow/artifacts/cache/https-c84ea9dc0103a4754aeb9a28bbc7a4f33c835854-batch-job-1.0.0.BUILD-SNAPSHOT.jar 
-rwxrwxrwx 3 user hadoop 22139318 2016-11-07 15:07 /dataflow/artifacts/cache/log-sink-rabbit-1.0.0.BUILD-SNAPSHOT.jar 
-rwxrwxrwx 3 user hadoop 12590921 2016-11-07 12:59 /dataflow/artifacts/cache/timestamp-task-1.0.0.BUILD-SNAPSHOT.jar 

Answer 1

Там явно смесь неправильных версий, как HDFS имеет spring-cloud-deployer-yarn-tasklauncherappmaster-1.0.0.RELEASE.jar и ошибка жалуется spring-cloud-deployer-yarn-tasklauncherappmaster-1.0.0.BUILD-SNAPSHOT.jar.

Не знаете, как у вас есть снимки, если вы не создали дистрибутив вручную?

Я бы порекомендовал вам выбрать 1.0.2 от http://cloud.spring.io/spring-cloud-dataflow-server-yarn. См. «Загрузка и извлечение дистрибутива» из документа ref. Также удалите старый файл /dataflow из hdfs.