mrjob

2зной

2ответ

Есть ли способ указать название задания из mrjob в веб-интерфейсе администрирования Hadoop?

У меня есть несколько разных заданий, начиная с библиотеки Python mrjob, включая задания с несколькими шагами. Как заменить streamjob на свое имя? Например, wordcount_step_1, wordcount_step_2 и т.д.

1зной

1ответ

Как изменить переменные среды в mrjob для ключа доступа AWS и secretaccesskey

Как мне изменить $AWS_ACCESS_KEY_ID и $AWS_SECRET_ACCESS_KEY в mrjob, чтобы ввести мои собственные учетные данные для AWS? Я использую терминал на Mac OS X. https://github.com/Yelp/mrjob Спасибо!

2зной

2ответ

Доступ к распределенному кешу от MrJob

Я пишу приложение appoop с помощью MrJob. Мне нужно использовать распределенный кеш для доступа к некоторым файлам. Я знаю, что есть опция -files в потоке хаопов, но не знаю, как получить к ней доступ

1зной

2ответ

Как вычислить корреляцию между двумя переменными в python с использованием MapReduce

Я пытаюсь использовать набор данных Million Song Dataset, доступный на AWS, чтобы найти корреляцию между громкостью дорожки и ее популярностью. Я выполнил основной учебник (http://musicmachinery.com/2

2зной

3ответ

MRjob: Может ли редуктор выполнить 2 операции?

Я пытаюсь дать вероятность каждой ключевой пары, генерируемой из карты. Итак, предположим, что урожайность картографа: a, (r, 5) a, (e, 6) a, (w, 7) мне нужно добавить 5 + 6 + 7 = 18, а затем найт

0зной

2ответ

hadoop с трубой mrjob на раковине

как и все остальные, у меня возникла проблема относительно mrjob. Я использую hadoopcluster над 3 datanodes, используя один namenode и один jobtracker. Начиная с изящным примером приложением я написал