Я пытаюсь отладить пример WordCount от Cloudera Hadoop, но я не могу. Я зарегистрировал картутор и класс редуктора, но в консоль не появляется в журнале.Журналы не отображаются в консоли :([Hadoop Question]
прилагает изображение. В первом изображении, журналы Java.
Во втором Imagen, результирующие журналы. Он не появляется первым :( http://i56.tinypic.com/2eztkli.png
Кто-нибудь знает ?? Большое спасибо!
Вы делаете «hadoop jar ...», поэтому вы начинаете свою работу, используя фактический кластер Hadoop (возможно, один узел).
Это означает, что все протоколирование выполняется кластером, а не на консоли. То, что вы видите на консоли, по сути, является индикатором прогресса.
Ваша задача разбита на одну или несколько задач карты и одну или несколько задач сокращения. Каждая из этих задач представляет собой отдельный Java-процесс и будет иметь индивидуальный журнал (который состоит из нескольких файлов).
Вы должны найти те лога в $ HADOOP_LOG_DIR/userlogs
Потому что многие сделаны параллельно вы делать не хотите, чтобы эти лога быть «один» огромный файл_журналом. Это станет бесполезным беспорядком.
Теперь для обучения и развития Hadoop приложений есть простой выход: Просто запустите приложение в локальном режиме, просто запустив его как обычный Java приложения: Java -jar ...
Если вы хотите показать информацию в консоли, затем выполните System.out.println («blah»); в ваших Java-заданиях, он работает хорошо, особенно при передаче аргументов (например, использование, если аргументы ошибочны) и делает больше, чем просто одно одиночное задание в вашей банке и т. д. Просеивание через журналы Hadoop является утомительным, чтобы просто приколоться к консоли, если вы делают реальную работу.
О, это простое решение. Используйте System.out.println(), а затем посмотрите на интерфейс HTML для jobtracker. Перейдите к задаче, которая сделала карту или уменьшена, в которой содержится println, а затем, если вы перейдете к отчету журнала для этой задачи, вы найдете распечатанные вами выходы.
