Hadoop 2.4.0 потоковых общие опции анализатора с использованием TAB в качестве разделителя

Question

Я знаю, что вкладка по умолчанию входного разделитель для полей:

stream.map.output.field.separator 
stream.reduce.input.field.separator 
stream.reduce.output.field.separator 
mapreduce.textoutputformat.separator 

но если я пытаюсь написать универсальный вариант синтаксического анализатора:

stream.map.output.field.separator=\t (or) 
stream.map.output.field.separator="\t" 

, чтобы проверить, как hadoop анализирует символы пробела, такие как «\ t, \ n, \ f» при использовании в качестве разделителей. Я заметил, что hadoop читает его как символ \ t, но не «». Я проверил это, печатая каждую строку в редукторе (питон), как он читает с помощью:

sys.stdout.write(str(line)) 

Мой картографа выделяет пары ключ/значение, как: key value1 value2

используя print (key,value1,value2,sep='\t',end='\n') команду.

Так я ожидал мой редуктор читать каждую строку как: key value1 value2 тоже, но вместо этого sys.stdout.write(str(line)) напечатало:

key value1 value2 \\with trailing space

Из Hadoop streaming - remove trailing tab from reducer output, я понял, что тянущееся пространство обусловлено не mapreduce.textoutputformat.separator быть установлено и слева по умолчанию.

Таким образом, это подтвердило мое предположение о том, что Hadoop считал мой общий объем карты:

key value1 value2

в качестве ключа и значения, как пустой объект Text, так как он прочитал разделитель из stream.map.output.field.separator=\t как «\ т» символ вместо "" вкладка сама.

Пожалуйста, помогите мне понять это поведение и как я могу использовать \ t как разделитель, если захочу.

Answer 1

Возможно, у вас есть эта проблема "-D stream.map.output.field.separator =." указывает «.». как разделитель полей для выходов карты, а префикс до четвертого «.» в строке будет ключ, а остальная часть строки (исключая четвертую «.») будет значением. Если строка имеет менее четырех «.» S, тогда вся строка будет ключом, а значение будет пустым текстовым объектом (например, созданным новым текстом («»)).Here ясно упоминается, как используется разделитель, а также о том, как многие из таких вложений разделителя необходимо учитывать при идентификации ключа карты и значения. Также есть поля, относящиеся к разбиению на разделы, на основе которых будет обрабатываться редуктор. Поскольку вы хотите, чтобы разделитель был изменен, я думаю, вам нужно проверить это также на разделении и редукторе.