recordreader

2зной

1ответ

Mapreduce combfileinputformat java.lang.reflect.InvocationTargetException в то время как два задания имеют одинаковые данные

Hadoop Mapreduce CombineFileInputFormat отлично работает, когда дело доходит до чтения большого количества файлов небольшого размера, однако я замечал, что иногда работа оказывается неудачной со следу

0зной

1ответ

Hadoop RawLocalFileSystem и getPos

Я обнаружил, что getPos в исходном потоке RawLocalFileSystem может вызывать исключение с нулевым указателем, если его базовый поток закрыт. Я обнаружил это при игре с пользовательским устройством запи

0зной

2ответ

Чтение записи, разбитой на две строки из-за/n в MapReduce

Я пытаюсь написать пользовательский читатель, который служит мне для чтения записи (проживающей в двух строках) с определенным количеством полей. Для Eg 1,2,3,4("," can be there or not) ,5,6,7,8 Мо

0зной

2ответ

Custom RecordReader инициализируется не называется

Я недавно начал возиться с Hadoop и только создал свой собственный inputformat для обработки PDF-файлов. По какой-то причине мой пользовательский класс RecordReader не имеет вызванного метода инициали

1зной

1ответ

Hadoop - несколько файлов с устройства чтения записей на карту

Я внедрил пользовательский формат ввода файлов для создания разделов для задачи Map, состоящей из группы файлов. Я создал решение, которое передает каждый файл сплита через устройство чтения с записью

3зной

4ответ

Как удалить входные файлы после успешного mapreduce

У нас есть система, которая получает архивы в указанном каталоге и на регулярной основе запускает задание mapreduce, которое открывает архивы и обрабатывает файлы внутри них. Чтобы избежать повторной