Hadoop Map Reduce - Количество редукторов

У меня есть случай использования данных сотрудников компании разных возрастных групп. Мне нужно найти самую высокую зарплату мужчины и женщины из трех возрастных групп.Hadoop Map Reduce - Количество редукторов

для деталей пожалуйста перейдите к ссылке ниже -

http://www.myhadoopexamples.com/2014/03/01/hadoop-mapreduce-example-with-partitioner/

Мой вопрос - Здесь у нас есть только два ключа emited по картографа т.е. мужского и женского пола. , и мы установили 3 редуктора в классе драйвера, таким образом, будет создано 3 раздела.

Там может быть два ниже вещи -

3 редуктор будет работать для каждого 3 раздела, который INTURN выяснить максимальную женскую и мужскую зарплату в каждом partioner. и дает ожидаемый результат, как показано в ссылке выше.
только редуктор будет работать на самом деле, один из самцов и одна женщина и сделать расчет

источник

2016-06-23 pradeep rai

Что вы хотите точно? –

Сколько редукторов будет создано во время выполнения? будет ли он создавать 3 редуктора и данные сервера каждого разделителя за раз и обрабатывать выход или только 2 редуктора, так как только два ключа находятся на картере. –

Разве это не третий раз за 24 часа этот вопрос задан? http://stackoverflow.com/questions/37972288/number-of-reducer-in-map-reduce и http://stackoverflow.com/questions/37983319/number-of-reducer –

Если вы хотите знать реальное кол-редукторами, вы бы лучше запустить его на кластере.

Как сказано в сообщении Number of reducer in map reduce, он запускает 3 редуктора, а 1 редуктор не будет обрабатывать данные. Если вы хотите использовать все три редуктора, вы можете изменить класс Partioner, например, данные разбивки по возрастным группам

источник

2016-06-23 11:46:00 yanghaogn

Hadoop Map Reduce - Количество редукторов

ответ

Смежные вопросы