mrjob

0зной

1ответ

Зарядные зависимости от Amazon EMR с python Mrjob

Я пытаюсь запустить работу по сокращению карты на Amazon EMR с помощью python Mrjob, и у меня есть некоторые проблемы с установкой зависимостей. Мой код mrjob: from mrjob.job import MRJob import re

python mrjob 2016-05-20

---

1зной

1ответ

Python mrjob mapreduce как предварительно обрабатывать входной файл

Я пытаюсь предварительно обработать XML-файл, чтобы извлечь определенные узлы, прежде чем вставлять в mapreduce. У меня есть следующий код: from mrjob.compat import jobconf_from_env from mrjob.job im

python hadoop mrjob bigdata 2016-04-06

---

0зной

1ответ

ImportError: Нет модуля с именем step

Я кодирую mapreducer в python с библиотеками mrjob. Я установил пакет mrjob но когда я from mrjob.step import MRStep окажись ошибку: from mrjob.step import MRStep ImportError: No module named step

python mapreduce mrjob 2016-02-26

---

1зной

1ответ

Ошибка при не работает функция MapReduce

У меня есть следующие dataframe userID movieID rating timestamp 1 1 9 12 1 2 10 13 Я назвал этот dataframe mapper1.txt и хранить его в той же директории, как этот питон файл: from mrjob.job import

python mapreduce mrjob 2016-06-09

---

0зной

2ответ

MRJob определение, если он работает inline, local, emr или hadoop

Я building on some old code from a few years back using the commoncrawl dataset с использованием EMR с использованием MRJob. Код использует следующий внутри MRJob подкласс функцию картографа, чтобы оп

python hadoop emr mrjob common-crawl 2016-04-23

---

0зной

1ответ

Идентификация ложного предупреждения с использованием python mapreduce

Может ли кто-нибудь помочь мне в решении следующей проблемы. Я пытаюсь проанализировать журнал безопасности, чтобы найти ложные предупреждения. Ложные предупреждения - это те, которые содержат «TXT не

python mrjob 2016-04-24

---

0зной

1ответ

объекта не распознаются при выполнении MapReduce работы

Im пытается запустить простую карту сократить работу и получил следующие наборы данных: bike.txt 1 Bike 1 2 Bike 2 3 Bike 4 4 Bike 4 5 Bike 4 bikenames.txt 1,Aap 2,Noot 3,Greet 4,Mies 5,Gaze

python mapreduce mrjob 2016-06-16

---

0зной

1ответ

MrJob на Hadoop не может импортировать библиотеки

Я использую CDH 5.7.2 и MrJob для передачи задания MapReduce Когда я пытаюсь в localmode, все работает отлично, но когда я использую -r hadoop Это дает мне следующее ошибка: Task Id : attempt_14710717

python hadoop mapreduce cloudera-cdh mrjob 2016-08-13

---

0зной

1ответ

Подключение HIVE в MRJob

Сценарий: мне нужно обработать файл (ввод), и для каждой записи мне нужно проверить, соответствуют ли определенные поля входного файла полям, хранящимся в кластере Hadoop. Мы думаем об использовании M

hadoop hive mrjob 2016-11-28

---