2014-02-18 4 views
5

Я использую hadoop hadoop-2.2.0. Я могу запустить historyserver в главном узле и подчиненном узле?Каков правильный способ использования сервера history of hadoop 2.2?

  1. Но я не уверен, что мне нужно запустить сервер истории на ведомом узле ?

  2. Если я запустил один сервер истории на главном компьютере, могу ли я получить все журналы всех заданий?

  3. Если мне нужно запустить все серверы как на главном, так и на подчиненном узле, есть ли какая-либо команда, чтобы запустить все, используя одну команду? Не запускайте каждый сервер один за другим.

Любые комментарии приветствуются.

+0

YARN имеет единственный сервер истории заданий Mapreduce на главном узле. Как указано в названии, функция сервера истории изменений mapreduce - хранить и обслуживать историю заданий mapreduce, которые выполнялись в кластере. – rVr

+1

Как получить эту историю, значит, файл (или любой другой) хранит всю историю заданий. Как я могу увидеть эту историю? –

+0

Также полезно использовать агрегацию журналов, если вы собираетесь использовать сервер history. Это упрощает и упрощает дело. – Mehraban

ответ

11

Вам нужен только один сервер истории. Он может работать на любом узле, который вам нравится, включая собственный выделенный узел, но традиционно работает на том же узле, что и диспетчер ресурсов. Сервер одна история объявлена ​​в mapred-site.xml:

  • mapreduce.jobhistory.address: MapReduce JobHistory сервера хост: порт по умолчанию порт 10020.
  • mapreduce.jobhistory.webapp.address: MapReduce JobHistory Сервер веб-интерфейс хост: порт по умолчанию порт 19888.
  • mapreduce.jobhistory.intermediate-done-dir : Каталог, где файлы истории записываются заданиями MapReduce (в HDFS). По умолчанию /mr-history/tmp
  • mapreduce.jobhistory.done-dir: Каталог, в котором файлы истории управляются сервером MR JobHistory (в HDFS). По умолчанию /mr-history/done

Вы можете получить доступ к истории через historyserver REST API, у вас нет доступа непосредственно внутренние файлы истории. Для случайного просмотра история доступна в веб-интерфейсе resouremanager.

+0

Предположим, я хочу отправить все журналы в стек ELK для статистического запроса, почему бы не получить доступ к файлам истории напрямую? – selotape

 Смежные вопросы

  • Нет связанных вопросов^_^