У меня есть дочерний (дочерний) класс, который распространяется от класса super (parent). Я хочу способ обеспечить общий тип для ввода значения Mapper, так что я могу обеспечить как ребенка и родителя, как допустимые значения, как это:Как обеспечить подкласс в Mapper и Reducer Hadoop?
общественный статический класс MyMapper расширяет Mapper < ..., MyParentClass, ..., ...>
Я хочу, чтобы MyChildClass, который простирается от MyParentClass, также действителен.
Однако, когда я бег программы, если значение является дочерним классом я получаю исключение:
типа несоответствия значения от карты: ожидается MyParentClass, получил MyChildClass
Как я могу включить как дочерний, так и родительский классы должны быть действительными ввод/вывод значение в/из картографа?
Update:
package hipi.examples.dumphib;
import hipi.image.FloatImage;
import hipi.image.ImageHeader;
import hipi.imagebundle.mapreduce.ImageBundleInputFormat;
import hipi.util.ByteUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
import java.io.IOException;
import java.util.Iterator;
public class DumpHib extends Configured implements Tool {
public static class DumpHibMapper extends Mapper<ImageHeader, FloatImage, IntWritable, Text> {
@Override
public void map(ImageHeader key, FloatImage value, Context context) throws IOException, InterruptedException {
int imageWidth = value.getWidth();
int imageHeight = value.getHeight();
String outputStr = null;
if (key == null) {
outputStr = "Failed to read image header.";
} else if (value == null) {
outputStr = "Failed to decode image data.";
} else {
String camera = key.getEXIFInformation("Model");
String hexHash = ByteUtils.asHex(ByteUtils.FloatArraytoByteArray(value.getData()));
outputStr = imageWidth + "x" + imageHeight + "\t(" + hexHash + ")\t " + camera;
}
context.write(new IntWritable(1), new Text(outputStr));
}
}
public static class DumpHibReducer extends Reducer<IntWritable, Text, IntWritable, Text> {
@Override
public void reduce(IntWritable key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
for (Text value : values) {
context.write(key, value);
}
}
}
public int run(String[] args) throws Exception {
if (args.length < 2) {
System.out.println("Usage: dumphib <input HIB> <output directory>");
System.exit(0);
}
Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "dumphib");
job.setJarByClass(DumpHib.class);
job.setMapperClass(DumpHibMapper.class);
job.setReducerClass(DumpHibReducer.class);
job.setInputFormatClass(ImageBundleInputFormat.class);
job.setOutputKeyClass(IntWritable.class);
job.setOutputValueClass(Text.class);
String inputPath = args[0];
String outputPath = args[1];
removeDir(outputPath, conf);
FileInputFormat.setInputPaths(job, new Path(inputPath));
FileOutputFormat.setOutputPath(job, new Path(outputPath));
job.setNumReduceTasks(1);
return job.waitForCompletion(true) ? 0 : 1;
}
private static void removeDir(String path, Configuration conf) throws IOException {
Path output_path = new Path(path);
FileSystem fs = FileSystem.get(conf);
if (fs.exists(output_path)) {
fs.delete(output_path, true);
}
}
public static void main(String[] args) throws Exception {
int res = ToolRunner.run(new DumpHib(), args);
System.exit(res);
}
}
FloatImage супер класс и у меня есть ChildFloatImage класс, который наследуется от него. Когда ChildFloatImage возвращается с RecordReader, он бросает предыдущее исключение.
Пожалуйста, разместите свой код карты, если сможете. – Amit
@Amit Не могли бы вы проверить приведенный выше код. Вы также можете проверить на любом устройстве сопоставления, используя простые типы, такие как класс «Текст» и один класс, который расширяет его, и вы увидите, что при возврате дочернего класса будет выбрано исключение. –
Не могли бы вы использовать «? Extends FloatImage» в качестве определения вашего общего типа. Также я думаю, что приведенный ниже ответ поможет вам понять общие типы и их обычаи. Вот еще один ресурс для понимания Generics and Inheritance - https://docs.oracle.com/javase/tutorial/java/generics/inheritance.html – Amit