Я запускаю основной пример Hortonworks 'yarn application example. Приложение не работает, и я хочу прочитать журналы, чтобы выяснить, почему. Но я не могу найти файлы в ожидаемом месте (/HADOOP_INSTALL_FOLDER/logs), где хранятся журналы моих заданий mapreduce.Где Hadoop хранит журналы приложений YARN?
Кто-нибудь знает, где пряжа хранит файлы журнала, не связанные с mapreduce? Нужно ли настраивать специальный каталог в xml-файлах?
Бревна контейнер должен быть под yarn.nodemanager.log-dirs:
Где хранить журналы контейнеров. Локализованный каталог журнала приложения находится в
${yarn.nodemanager.log-dirs}/application_${appid}. Каталоги журналов отдельных контейнеров будут ниже этого, в каталогах с именемcontainer_{$contid}. Каждый каталог контейнера будет содержать файлы stderr, stdin и syslog, сгенерированные этим контейнером.
Log-агрегация реализована в пряже, из-за которых расположение файла журнала будет изменяться по сравнению с Hadoop 1.
Вы можете получить логи приложения двух способов, WebUI и командная строка доступ.
Просьба ознакомиться с нижеследующим документом, который дает вам очень четкую информацию об этой реализации агрегации журналов на YARN.
http://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/
Спасибо автору блога, Винод Кумар Vavilapalli.
Это именно то, что я искал. Установка YARN_LOG_DIR в yarn-env.sh не требуется, когда вы устанавливаете yarn.nodemanager.log-dirs на абсолютный путь. Кроме того, вы можете установить только YARN_LOG_DIR и оставить yarn.nodemanager.log-dirs по умолчанию значение $ {YARN_LOG_DIR}/logs, чтобы установить каталог журнала YARN. – padmalcom
Привет, как удалить эти журналы пряжи? Делает ли удаление файла журнала пряжи? Я совершенно новый для пряжи .. – Prashanth
@Prashanth задавать вопросы как отдельные вопросы, а не как комментарии. –