Я запускаю работу по сокращению карты над приложением, которое выполняется поверх Hadoop. Он работает нормально для меньших наборов данных, но увеличение размера данных приводит к сбою с сообщением, подобным приведенному ниже.Hadoop Работа не работает в большом наборе данных, бросая ошибку ребенка
Я пробовал с различными конфигурациями памяти в mapred.child.*.java.opts, но безуспешно. Процесс протекает до 6% или 7%, а затем терпит неудачу. Если размер данных будет уменьшен, он будет работать с более высоким процентным значением, а затем сбой. Я вижу, что этот конкретный процесс присваивается только одному картографу.
java.lang.Throwable: Ребенок Ошибка при org.apache.hadoop.mapred.TaskRunner.run (TaskRunner.java:250), причиненный по: java.io.IOException: Задача Процесс выхода с ненулевым статусом 137. на org.apache.hadoop.mapred.TaskRunner.run (TaskRunner.java:237)
Возможно, вам захочется объяснить логику вашего неудачного процесса или опубликовать код, если это не так. o длинный. –