mrjob

3зной

1ответ

Где находится sys.stdout.write() в файле MRJOB?

mrjob.conf runners: emr: aws_access_key_id: ** aws_secret_access_key: ** aws_region: us-east-1 aws_availability_zone: us-east-1a ec2_key_pair: scrapers2 ec2_key_pair

0зной

1ответ

mrjob NoFIleFound Exception with cloudera cdh 5 cluster

Я получаю эту ошибку при попытке запустить пример mrjob в кластере hadoop. Я установил мой hadoop_home, и я также могу создать новый каталог в файловой системе hdfs. Я могу запустить python map-reduce

0зной

1ответ

mrjob InstanceProfile требуется для создания кластера

Я пытаюсь запустить экземпляр на Amazon EC2 с помощью питона MRJob Вот простой питон скрипт, чтобы найти наиболее часто используемые слова в текстовом файле from mrjob.job import MRJob class MRWordF

0зной

4ответ

Установить BeautifulSoup, mrjob, pattern и seaborn на python 2.7 на Jupyter

Я изучаю, как использовать новый Jupyter. Я хочу установить пакеты: BeautifulSoup, mrjob, pattern и seaborn на python 2.7. Сначала я попытался сделать это, запустив pip install BeautifulSoup mrjob pat

3зной

1ответ

Можно ли использовать среду Conda как «virtualenv» для Hadoop Streaming Job (в Python)?

В настоящее время мы используем Luigi, MRJob и другие фреймворки для запуска потоковых работ Hadoo с использованием Python. Мы уже можем отправлять задания со своим виртуальным пользователем, поэтому