Проблема

Я пытаюсь установить псевдо-распределенных CDH без использования МЧР. Все «работает» через консоль. Однако, во-вторых, я начинаю использовать Hue, я получаю сообщение об ошибке при попытке работать с Pig.проблемы конфигурации сервера Oozie и история Работа

Ошибка показано в Хюэ:

JA017: Не удалось LookUp запущен Hadoop работы ID [job_local2125047777_0001], который был связан с действием [0000000-160112011607704-oozie-oozi-W @ свинья]. Несоблюдение этого действия!

Я считаю, что это ошибка, возникающая из-за недопонимания из-за проблемы рабочего процесса Oozie, связанной с подключением Свинья с сервером истории заданий.

До этого я не смог использовать Hive из Hue, потому что у Oozie было трудно установить sharelib для Oozie на HDFS. Я решил это, создав символическую связь между /etc/hadoop/conf/core-site.xml и /etc/oozie/conf/hadoop-conf/core-site.xml. Как было предложено здесь: информация Apache Oozie failed loading ShareLib

Script

Конфигурация сценарий, который я написал для установки CDH на Scientific Linux 7 доступна здесь: https://github.com/coatless/stat490uiuc/blob/master/install_scripts/cdh_build.sh

В частности, я пытаюсь получить результаты от свиньи сценарий:

data = LOAD '/user/hue/pig/examples/data/midsummer.txt' as (text:CHARARRAY); 

upper_case = FOREACH data GENERATE org.apache.pig.piggybank.evaluation.string.UPPER(text); 

STORE upper_case INTO '$output' ;

Покушение Solutions

От прибегая к помощи, я мы сталкиваемся с следующими решениями, которые после внедрения не были разработаны.

JA017: Could not lookup launched hadoop Job ID

Предлагали выполнить следующие команды:

sudo -u hdfs hadoop fs -mkdir -p /user/history 
sudo -u hdfs hadoop fs -chmod -R 1777 /user/history 
sudo -u hdfs hadoop fs -chown mapred:hadoop /user/history

Rebooted ресурса & Node Manager, HDFS и истории сервера не дало никаких результатов.

В этой теме был еще один пользователь, предложивший установить свойство в job.properties, в котором указан user.name=mapred. Тем не менее, я не мог найти ссылки на job.properties для работы Hue.

Oozie logs report Unknown hadoop job and history server UI not populated

Эти сообщения предлагает объявить фиксированные пути для сервера истории в файле mapred-site.xml:

<property> 
    <name>mapreduce.jobhistory.done-dir</name> 
    <value>/user/history/done</value> 
</property> 
<property> 
    <name>mapreduce.jobhistory.intermediate-done-dir</name> 
    <value>/user/history/done_intermediate</value> 
</property>

Это также не работает.

JA017: Unknown hadoop job

Указывает, проблема может быть связана с проблемой прав доступа, однако, пользователь не дает особенности от того, как была решена проблема.

Любая помощь будет оценена по достоинству.

Полный oozie журнал

Полный текст ошибки из файла oozie.log:

2016-01-11 23:51:59,195 WARN ParameterVerifier:523 - SERVER[server-name] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[-] ACTION[-] The application does not define formal parameters in its XML definition 
2016-01-11 23:51:59,275 WARN LiteWorkflowAppService:523 - SERVER[server-name] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[-] ACTION[-] libpath [hdfs://localhost:8020/user/hue/oozie/workspaces/_cloudera_-oozie-1-1452577913.73/lib] does not exist 
2016-01-11 23:51:59,572 INFO ActionStartXCommand:520 - SERVER[server-name] USER[cloudera] GROUP[-] TOKEN[] APP[pig-app-hue-script] JOB[0000000-160111235108256-oozie-oozi-W] ACTION[[email protected]:start:] Start action [[email protected]:start:] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 
2016-01-11 23:51:59,595 INFO ActionStartXCommand:520 - SERVER[server-name] USER[cloudera] GROUP[-] TOKEN[] APP[pig-app-hue-script] JOB[0000000-160111235108256-oozie-oozi-W] ACTION[[email protected]:start:] [***[email protected]:start:***]Action status=DONE 
2016-01-11 23:51:59,596 INFO ActionStartXCommand:520 - SERVER[server-name] USER[cloudera] GROUP[-] TOKEN[] APP[pig-app-hue-script] JOB[0000000-160111235108256-oozie-oozi-W] ACTION[[email protected]:start:] [***[email protected]:start:***]Action updated in DB! 
2016-01-11 23:52:00,052 INFO ActionStartXCommand:520 - SERVER[server-name] USER[cloudera] GROUP[-] TOKEN[] APP[pig-app-hue-script] JOB[0000000-160111235108256-oozie-oozi-W] ACTION[[email protected]] Start action [[email protected]] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10] 
2016-01-11 23:52:03,487 WARN Credentials:96 - SERVER[server-name] Null token ignored for oozie mr token 
2016-01-11 23:52:03,506 WARN Credentials:96 - SERVER[server-name] Null token ignored for oozie mr token 
2016-01-11 23:52:03,562 WARN JobResourceUploader:64 - SERVER[server-name] Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this. 
2016-01-11 23:52:03,563 WARN JobResourceUploader:171 - SERVER[server-name] No job jar file set. User classes may not be found. See Job or Job#setJar(String). 
2016-01-11 23:52:04,169 WARN MRApps:582 - SERVER[server-name] cache file (mapreduce.job.cache.files) hdfs://localhost:8020/user/oozie/share/lib/lib_20160111222734/pig/json-simple-1.1.jar conflicts with cache file (mapreduce.job.cache.files) hdfs://localhost:8020/user/oozie/share/lib/lib_20160111222734/oozie/json-simple-1.1.jar This will be an error in Hadoop 2.0 
2016-01-11 23:52:08,611 WARN Credentials:96 - SERVER[server-name] Null token ignored for oozie mr token 
2016-01-11 23:52:08,618 WARN PigActionExecutor:523 - SERVER[server-name] USER[cloudera] GROUP[-] TOKEN[] APP[pig-app-hue-script] JOB[0000000-160111235108256-oozie-oozi-W] ACTION[[email protected]] Exception in check(). Message[JA017: Could not lookup launched hadoop Job ID [job_local1961106749_0001] which was associated with action [[email protected]]. Failing this action!] 
org.apache.oozie.action.ActionExecutorException: JA017: Could not lookup launched hadoop Job ID [job_local1961106749_0001] which was associated with action [[email protected]]. Failing this action! 
     at org.apache.oozie.action.hadoop.JavaActionExecutor.check(JavaActionExecutor.java:1274) 
     at org.apache.oozie.action.hadoop.JavaActionExecutor.start(JavaActionExecutor.java:1203) 
     at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:250) 
     at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:64) 
     at org.apache.oozie.command.XCommand.call(XCommand.java:286) 
     at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:321) 
     at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:250) 
     at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:175) 
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
     at java.lang.Thread.run(Thread.java:745) 
2016-01-11 23:52:08,620 WARN ActionStartXCommand:523 - SERVER[server-name] USER[cloudera] GROUP[-] TOKEN[] APP[pig-app-hue-script] JOB[0000000-160111235108256-oozie-oozi-W] ACTION[[email protected]] Error starting action [pig]. ErrorType [FAILED], ErrorCode [JA017], Message [JA017: Could not lookup launched hadoop Job ID [job_local1961106749_0001] which was associated with action [[email protected]]. Failing this action!] 
org.apache.oozie.action.ActionExecutorException: JA017: Could not lookup launched hadoop Job ID [job_local1961106749_0001] which was associated with action [[email protected]]. Failing this action! 
     at org.apache.oozie.action.hadoop.JavaActionExecutor.check(JavaActionExecutor.java:1274) 
     at org.apache.oozie.action.hadoop.JavaActionExecutor.start(JavaActionExecutor.java:1203) 
     at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:250) 
     at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:64) 
     at org.apache.oozie.command.XCommand.call(XCommand.java:286) 
     at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:321) 
     at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:250) 
     at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:175) 
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
     at java.lang.Thread.run(Thread.java:745) 
2016-01-11 23:52:08,621 WARN ActionStartXCommand:523 - SERVER[server-name] USER[cloudera] GROUP[-] TOKEN[] APP[pig-app-hue-script] JOB[0000000-160111235108256-oozie-oozi-W] ACTION[[email protected]] Failing Job due to failed action [pig] 
2016-01-11 23:52:08,623 WARN LiteWorkflowInstance:523 - SERVER[server-name] USER[cloudera] GROUP[-] TOKEN[] APP[pig-app-hue-script] JOB[0000000-160111235108256-oozie-oozi-W] ACTION[[email protected]] Workflow Failed. Failing node [pig] 
2016-01-11 23:52:08,768 INFO KillXCommand:520 - SERVER[server-name] USER[cloudera] GROUP[-] TOKEN[] APP[pig-app-hue-script] JOB[0000000-160111235108256-oozie-oozi-W] ACTION[] STARTED WorkflowKillXCommand for jobId=0000000-160111235108256-oozie-oozi-W 
2016-01-11 23:52:08,806 INFO KillXCommand:520 - SERVER[server-name] USER[cloudera] GROUP[-] TOKEN[] APP[pig-app-hue-script] JOB[0000000-160111235108256-oozie-oozi-W] ACTION[] ENDED WorkflowKillXCommand for jobId=0000000-160111235108256-oozie-oozi-W 
2016-01-11 23:52:09,038 INFO CallbackServlet:520 - SERVER[server-name] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000000-160111235108256-oozie-oozi-W] ACTION[[email protected]] callback for action [[email protected]] 
2016-01-11 23:52:09,072 ERROR CompletedActionXCommand:517 - SERVER[server-name] USER[-] GROUP[-] TOKEN[] APP[-] JOB[0000000-160111235108256-oozie-oozi-W] ACTION[[email protected]] XException, 
org.apache.oozie.command.CommandException: E0800: Action it is not running its in [FAILED] state, action [[email protected]] 
     at org.apache.oozie.command.wf.CompletedActionXCommand.eagerVerifyPrecondition(CompletedActionXCommand.java:92) 
     at org.apache.oozie.command.XCommand.call(XCommand.java:257) 
     at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:175) 
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
     at java.lang.Thread.run(Thread.java:745) 
2016-01-11 23:52:09,082 WARN CallableQueueService$CallableWrapper:523 - SERVER[server-name] USER[-] GROUP[-] TOKEN[] APP[-] JOB[0000000-160111235108256-oozie-oozi-W] ACTION[[email protected]] exception callable [callback], E0800: Action it is not running its in [FAILED] state, action [[email protected]] 
org.apache.oozie.command.CommandException: E0800: Action it is not running its in [FAILED] state, action [[email protected]] 
     at org.apache.oozie.command.wf.CompletedActionXCommand.eagerVerifyPrecondition(CompletedActionXCommand.java:92) 
     at org.apache.oozie.command.XCommand.call(XCommand.java:257) 
     at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:175) 
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
     at java.lang.Thread.run(Thread.java:745)

источник

2016-01-12 coatless

Эй, как вы это решили? Я получаю такую же ошибку. Пожалуйста, помогите мне! – ChikuMiku

Вы должны перепроверить с помощью браузера HUE файла, все ли права являются правильными на все каталоги и подкаталоги/пользователь/история.

В моем случае, все пользователи имели разрешения на всех подпапках/пользователь/истории, но браузер HUE File сказал мне, что «/ пользователь/история» сам каталог имеет следующий набор разрешений:

Name  User  Group  Permissions 
history  mapred hadoop drwxrwx---

В результате произошла ошибка при использовании другого пользователя, кроме как указано. Следующая команда помогла:

sudo -u hdfs hadoop fs -chmod 777 /user/history

источник

2017-01-23 14:37:02

Следуйте за этим: https://stackoverflow.com/questions/43426691/oozie-workflow-failed-due-to-error-ja017/44695231#44695231 –

проблемы конфигурации сервера Oozie и история Работа

Проблема

Script

Покушение Solutions

Полный oozie журнал

ответ

Смежные вопросы