Использовать многоядерные ядра с LocalMRJobRunner для MRJob

Question

Я использую рамки python yelp/mrjob для своих заданий mapreduce. Имеются только около 4 Гб данных, и я не хочу испытывать проблемы с настройкой Hadoop или EMR. У меня 64-ядерная машина, и для обработки данных с помощью mrjob требуется около 2 часов. Я замечаю, что для моей работы mrjob назначает 54 mappers, но, похоже, работает только по одному. Есть ли способ заставить mrjob выполнять все задачи параллельно со всеми ядрами процессора?

Я вручную изменил количество задач, но не очень помог. --jobconf mapred.map.tasks=10 --jobconf mapred.reduce.tasks=10

EDIT: Я имею -r local когда я выполняю работу, однако, глядя на code, кажется, он по умолчанию запустить один процесс в то время. Скажите, пожалуйста, я ошибаюсь.

Answer 1

Локальный бегун для работы с mrjob только порождает один подпроцесс для каждого этапа МР, один для картографа, один для объединителя (необязательно) и один для редуктора и передает данные между ними через трубу. Он не предназначен для параллелизма вообще, поэтому он никогда не будет использовать ваши 64 ядра.

Мое предложение было бы запустить hadoop на вашем локальном компьютере и отправить задание с помощью опции -r hadoop. Хэллоп-кластер, запущенный на вашей локальной машине в режиме pseduo-распределенного режима, должен иметь возможность использовать преимущества нескольких ваших ядер.

Смотрите этот вопрос, который обращается к этой теме: Full utilization of all cores in Hadoop pseudo-distributed mode

Answer 2

Бегун для задания может быть задан в командной строке с помощью опции -r.

Когда вы запускаете сценарий mrjob из командной строки, режим запуска по умолчанию - inline, который запускает ваше задание на вашем локальном компьютере за один процесс. Другими очевидными вариантами для рабочих заданий являются emr и hadoop.

Вы можете сделать прогон задания параллельно на вас локальную машину, установив бегун в local

$ python myjob.py -r local 

Эти --jobconf вариантов только узнаны Hadoop (т.е. на ОМ или кластере Hadoop).