Oozie variable [пользователь] не может быть решена

Question

Я пытаюсь использовать действие Hive Оози в Хюэ. Мой Улей сценарий очень прост:

create table test.test_2 as select * from test.test

Это Oozie действие имеет только 3 шага:

1. начала
2. hive_query
3. конец

Мои job.properties:

jobTracker worker-1:8032 
mapreduce.job.user.name  hue 
nameNode hdfs://batchlayer 
oozie.use.system.libpath true 
oozie.wf.application.path hdfs://batchlayer/user/hue/oozie/workspaces/_hue_-oozie-4-1425575226.04 
user.name hue 

Я добавляю hive-site.xml два раза - как файл и как job.xml. Начинается действие Оози и на остановках второго шага. Работа «принимается». Но в Хюэ консоли я получил ошибку:

variable[user] cannot ber resolved 

Я использую Apache Oozie 4.2, Apache Hive 0,14 и Hue 3.7 (с Github).

UPDATE:

Это мой workflow.xml:

bash-4.1$ bin/hdfs dfs -cat /user/hue/oozie/workspaces/*.04/work* 

<workflow-app name="ccc" xmlns="uri:oozie:workflow:0.4"> 
    <start to="ccc"/> 
    <action name="ccc"> 
     <hive xmlns="uri:oozie:hive-action:0.2"> 
      <job-tracker>${jobTracker}</job-tracker> 
      <name-node>${nameNode}</name-node> 
       <job-xml>/user/hue/hive-site.xml</job-xml> 
      <script>/user/hue/hive_test.hql</script> 
      <file>/user/hue/hive-site.xml#hive-site.xml</file> 
     </hive> 
     <ok to="end"/> 
     <error to="kill"/> 
    </action> 
    <kill name="kill"> 
     <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message> 
    </kill> 
    <end name="end"/> 
</workflow-app> 

Answer 1

попытался запустить действие образец улья в Oozie после аналогичных шагов, как вы, и был в состоянии решить ошибку, с которой сталкиваются вы используете следующие шаги

1. Удалить надстройку для улья site.xml
2. Добавьте следующую line к вашему job.properties oozie.libpath = $ {nameNode}/user/oozie/share/lib
3. Увеличьте видимость вашего файла hive-site.xml, хранящегося в HDFS. Может быть у вас есть очень ограничительные привилегии над ним (в моем случае 500)

С этим как [пользователь] переменная не может быть решена, и последующие ошибки получили решены.

Надеюсь, это поможет.

Answer 2

Это сообщение может быть действительно обманчивым. Вы должны проверить журналы пряжи и диагностику.

В моем случае это были настройки конфигурации для уменьшения задачи и памяти контейнера. По некоторым ограничениям контейнерная память контейнера была ниже, чем ограничение на уменьшение памяти задачи. После просмотра в журналах приложения пряжи я увидел истинную причину в разделе «Диагностика», которая была:

REDUCE capability required is more than the supported max container capability in the cluster. Killing the Job. reduceResourceRequest: <memory:8192, vCores:1> maxContainerCapability:<memory:5413, vCores:4>

С уважением