Как получить доступ к информации о журнале куста

Я пытаюсь проанализировать производительность запросов на кусты. Хотя мне удалось сделать запросы на Hive с Java, но мне все равно нужно получить доступ к информации о журналах, создаваемой после каждого запроса. Вместо использования взлома, чтобы прочитать последний журнал на диске и использовать regex для извлечения чисел, я ищу изящный метод, если он уже доступен.Как получить доступ к информации о журнале куста

Любые указатели будут полезны. Заранее спасибо.

-lg

источник

2013-09-30 lex

деталь выполнение запроса, как статус, отделанная в, отделанной отображается работа Tracer, вы можете получить доступ работы трекера программный способа. Связанные данные по этой ссылке

How could I programmatically get all the job tracker and tasktracker information that is displayed by Hadoop in the web interface?

источник

2013-09-30 06:57:34

После того, как улей начинает работать начинается соответствующая карта-свертки работы. Журналы этого задания hadoop можно найти в соответствующем tasktracker, на котором выполняется каждая задача.

Используйте программный код jobclient для программного обеспечения.

источник

2013-10-01 05:26:24

Спасибо KS. Я придерживался того же подхода, но в настоящее время застрял с исключением: «Исключение в потоке» main «java.lang.NoClassDefFoundError: org/codehaus/jackson/map/JsonMappingException». Это происходит при создании объекта JobClient. Я сделал все банки Джексона доступными для моей java-программы, но до сих пор не повезло. Должны ли они быть размещены в системе улья? – lex

Как получить доступ к информации о журнале куста

ответ

Смежные вопросы