Как локально проверить карту и уменьшить код?

Question

Если у меня есть файл map.py, который читает из нескольких файлов csv и создает пары ключ-значение, как я могу передать их на мой редуктор.py и проверить локально?

Answer 1

Если вы используете Hadoop потоковый, то вы можете проверить свои скрипты локально, как это:

cat *.csv | map.py | sort -k1,1 | reducer.py 

Чтобы передать данные от преобразователя к редуктору в Hadoop-потоковом, просто написать "<key>\t<value>" на стандартный вывод