Запуск MapReduce job in Oozie

Question

Я пытаюсь запустить задание MapReduce на Oozie, но он не работает и его убивают. Ошибка также не отображается в консоли oozie, только она дает это сообщение об ошибке: «Ошибка карты/уменьшения, сообщение об ошибке []». Также, где я могу найти журналы, будет ли она содержать точную ошибку. Я новичок в этом и понятия не имею, что не так. Любой, пожалуйста, скажите мне, что не так с приведенными ниже кодами. Я страдаю этим уже два дня.

Это моя программа MapReduce.

package com.hadoop.mapreduce; 

import java.io.IOException; 

import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.io.IntWritable; 
import org.apache.hadoop.io.LongWritable; 
import org.apache.hadoop.io.Text; 
import org.apache.hadoop.mapreduce.Job; 
import org.apache.hadoop.mapreduce.Mapper; 
import org.apache.hadoop.mapreduce.Reducer; 
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; 

public class AnalysePatientRecords { 

    public static class SampleMap extends Mapper<LongWritable, Text, Text, Text> { 

     public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { 

      String line = value.toString(); 
      String[] lineElements = line.split("\\|",-1); 
      Text state = new Text(lineElements[11]); 
      Text patientId = new Text(lineElements[0]); 
      context.write(state, patientId); 

     } 

    } 

    public static class SampleReduce extends Reducer<Text, Text, Text, IntWritable> { 

     @SuppressWarnings("unused") 
     public void reduce(Text value, Iterable<Text> values, Context context) 
       throws IOException, InterruptedException { 

      int count = 0; 
      for (Text val : values) { 
       count = count + 1; 
      } 
      context.write(value, new IntWritable(count)); 

     } 

    } 

    public static void main(String[] args) throws Exception { 

     Configuration conf = new Configuration(); 
     Job job = Job.getInstance(conf, "patient analysis"); 
     job.setJarByClass(AnalysePatientRecords.class); 
     job.setMapOutputKeyClass(Text.class); 
     job.setMapOutputValueClass(Text.class); 
     job.setMapperClass(SampleMap.class); 
     job.setReducerClass(SampleReduce.class); 
     job.setOutputKeyClass(Text.class); 
     job.setOutputValueClass(IntWritable.class); 
     FileInputFormat.addInputPath(job, new Path(args[0])); 
     FileOutputFormat.setOutputPath(job, new Path(args[1])); 
     System.exit(job.waitForCompletion(true) ? 0 : 1); 

    } 

} 

job.properties

nameNode=hdfs://localhost:54310 
jobTracker=localhost:8032 
queueName=default 
examplesRoot=MapReduce 

oozie.libpath=${nameNode}/user/${user.name}/share/lib 
oozie.use.system.libpath=true 

oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/map-reduce/workflow.xml 
outputDir=map-reduce 

workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.2" name="map-reduce-wf"> 
    <start to="mr-node"/> 
    <action name="mr-node"> 
     <map-reduce> 
      <job-tracker>${jobTracker}</job-tracker> 
      <name-node>${nameNode}</name-node> 
      <prepare> 
       <delete path="${nameNode}/user/${wf:user()}/${examplesRoot}/output-data/${outputDir}"/> 
      </prepare> 
      <configuration> 
     <property> 
        <name>mapred.mapper.new-api</name> 
        <value>true</value> 
       </property> 
       <property> 
        <name>mapred.reducer.new-api</name> 
        <value>true</value> 
       </property> 
       <property> 
        <name>mapred.job.queue.name</name> 
        <value>${queueName}</value> 
       </property> 
       <property> 
        <name>mapreduce.map.class</name> 
        <value>AnalysePatientRecords$SampleMap</value> 
       </property> 
       <property> 
        <name>mapreduce.reduce.class</name> 
        <value>AnalysePatientRecords$SampleReduce</value> 
       </property> 
     <property> 
       <name>mapred.mapoutput.key.class</name> 
       <value>org.apache.hadoop.io.Text</value> 
       </property> 
       <property> 
         <name>mapred.mapoutput.value.class</name> 
         <value>org.apache.hadoop.io.Text</value> 
       </property> 
       <property> 
         <name>mapred.output.key.class</name> 
         <value>org.apache.hadoop.io.Text</value> 
       </property> 
       <property> 
         <name>mapred.output.value.class</name> 
         <value>org.apache.hadoop.io.IntWritable</value> 
       </property> 
       <property> 
        <name>mapred.map.tasks</name> 
        <value>1</value> 
       </property> 
       <property> 
        <name>mapred.input.dir</name> 
        <value>/user/${wf:user()}/${examplesRoot}/input-data/text</value> 
       </property> 
       <property> 
        <name>mapred.output.dir</name> 
        <value>/user/${wf:user()}/${examplesRoot}/output-data/${outputDir}</value> 
       </property> 
      </configuration> 
     </map-reduce> 
     <ok to="end"/> 
     <error to="fail"/> 
    </action> 
    <kill name="fail"> 
     <message>Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message> 
    </kill> 
    <end name="end"/> 
</workflow-app> 

Я также создал банку вышеупомянутой программы MapReduce и поместил его внутрь Lib папки. Я не знаю, что случилось, помогите мне с этим. Пожалуйста, ...

Answer 1

Отъезд Oozie Hive Action Logging. Как уже упоминалось в документации - «Журналы событий вербовки перенаправляются на карту задания Oozie Launcher, уменьшающую задание STDOUT/STDERR, в котором работает Hive». @YoungHobbit также уточнил о проверке в журнале работы oozie launcher в своем комментарии.

Вы можете получить доступ к этому журналу с веб-консоли Oozie. С веб-консоли Oozie из действия Hive открывается ссылка «Консоль URL», можно перейти к журналам заданий задания на работу с Oozie Launcher с помощью веб-консоли Hadoop job-tracker.