Проблема при работе с ArrayWritables

Question

Я новичок в Hadoop и работал с ArrayWritables в Hadoop map-reduce.

И это Mapper код, я использую: -

public class Base_Mapper extends Mapper<LongWritable, Text, Text, IntWritable> { 
    String currLine[] = new String[1000]; 
    Text K = new Text(); 

    public void map(LongWritable key, Text value, Context context) 
      throws IOException, InterruptedException { 
     String line = value.toString(); 
     currLine = line.split(""); 
     int count = 0; 
     for (int i = 0; i < currLine.length; i++) { 
      String currToken = currLine[i]; 
      count++; 
      K.set(currToken); 
      context.write(K, new IntWritable(count)); 
     } 

    } 
} 

Разбавление: -

public class Base_Reducer extends Reducer<Text, IntWritable,Text, IntArrayWritable> { 

    public void reduce(Text key, Iterable<IntWritable> values, Context context) 
      throws IOException, InterruptedException { 
     IntArrayWritable finalArray = new IntArrayWritable(); 
     IntWritable[] arr = new IntWritable[1000]; 
     for (int i = 0; i < 150; i++) 
      arr[i] = new IntWritable(0); 
     int redCount = 0; 
     for (IntWritable val : values) { 
      int thisValue = val.get(); 
      for (int i = 1; i <= 150; i++) { 
       if (thisValue == i) 
        arr[i - 1] = new IntWritable(redCount++); 
      } 
     } 
     finalArray.set(arr); 
     context.write(key, finalArray); 
    } 

} 

Я использую IntArrayWritable в качестве подкласса ArrayWritable, как показано ниже: -

import org.apache.hadoop.io.ArrayWritable; 
import org.apache.hadoop.io.IntWritable; 

public class IntArrayWritable extends ArrayWritable { 
    public IntArrayWritable() { 
     super(IntWritable.class); 
    } 

    public IntArrayWritable(IntWritable[] values) { 
     super(IntWritable.class, values); 
    } 
} 

Мой Предназначенный вывод задания был некоторый набор баз как ключ (который является правильным) и массив IntWritables в качестве значения. Но я получаю выход, как: -

com.feathersoft.Base.IntArrayWritable@30374534 
A com.feathersoft.Base.IntArrayWritable@7ca071a6 
C com.feathersoft.Base.IntArrayWritable@9858936 
G com.feathersoft.Base.IntArrayWritable@1df33d1c 
N com.feathersoft.Base.IntArrayWritable@4c3108a0 
T com.feathersoft.Base.IntArrayWritable@272d6774 

Что все изменения, которые я должен сделать, чтобы Inorder решить эту проблему?

Answer 1

Вам необходимо переопределить поведение по умолчанию метода toString() в вашей реализации IntArrayWritable.

Пожалуйста, попробуйте следующее:

import org.apache.hadoop.io.ArrayWritable; 
import org.apache.hadoop.io.IntWritable; 

public class IntArrayWritable extends ArrayWritable { 
    public IntArrayWritable() { 
     super(IntWritable.class); 
    } 

    public IntArrayWritable(IntWritable[] values) { 
     super(IntWritable.class, values); 
    } 

    @Override 
    public String toString() { 
     StringBuilder sb = new StringBuilder("["); 

     for (String s : super.toStrings()) 
     { 
      sb.append(s).append(" "); 
     } 

     sb.append("]") 
     return sb.toString(); 
    } 
} 

Если вам понравился этот ответ, пожалуйста, отметьте его как принято. Спасибо.