Hello-samza - задача остается в зафрахтованном состоянии

Question

Я пытаюсь запустить пример hello-samza, начиная с главной ветки. Я запустил каждую команду без ошибок, запустил run-job.sh без ошибок, но работа в YARN остается навсегда в состоянии ACCEPTED.

Я посмотрел на http://localhost:8088/cluster/nodes, и он ничего не показывает - это проблема? У YARN нет подключенных узлов, поэтому он не может выделять ресурсы для выполнения поданной заявки?

yarn node -list 

также показывает Total Nodes:0

Почему, если я просто следуя инструкции?

Answer 1

У YARN нет подключенных узлов, поэтому он не может выделить ресурсы для отправки поданной заявки?

Да, задача поставлена ​​в очередь и ждет ресурсов для запуска.

Может быть полезно просмотреть журналы для NodeManager, чтобы выяснить, почему он не может подключиться к ResourceManager.

Answer 2

У меня была такая же проблема, но я понял, что случилось. Возможно, в вашей ситуации это была другая проблема, но стоит ее проверить (также это может помочь другим людям). По предложению Jon Bringhurst я рекомендовал смотреть на журналы пряжи Node Manager - для привет samza проекта они должны быть под:

hello-samza/deploy/yarn/logs/yarn-*nodemanger-*.log 

В моем случае (вероятно, в вашей тоже) я видел Erorr том, что (до того, как было также WARN которые говорят мне, что дисковое пространство выше 90%):

1/1 local-dirs are bad: *; 
1/1 log-dirs are bad: * 

Они плохо, потому что доступное дисковое пространство на значении по умолчанию в узле, превышающая пряжу макс-диск-загрузка-на-диске-процент 90,0%. Либо очистите диск, либо увеличьте порог в файле пряжи.xml (как и я):

<property> 
     <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name> 
     <value>97</value> 
</property>