mrjob

1зной

1ответ

Файлы для распаковки + un-tar во время выполнения mrjob

Я хотел бы обработать много данных в S3 с помощью mrjob (используя EMR). Я могу структурировать данные любым способом, я бы хотел, но я хотел бы сделать все возможное, чтобы играть в сильные стороны,

1зной

1ответ

MRJob ошибка во время работы на Hadoop кластера

Я пытаюсь запустить задание питона с помощью Hadoop кластера и MRJob и мой скрипт-обертка выглядит следующим образом: #!/bin/bash . /etc/profile module load use.own module load python/python2.7 m

1зной

1ответ

Изменение промежуточного местоположения вывода Mapreduce с помощью MRJob

Я пытаюсь запустить скрипт python с помощью MRJob в кластере, в котором у меня нет прав администратора, и я получил ошибку, вставленную ниже. Я думаю, что дело в том, что задание пытается записать про

0зной

1ответ

Выполнение команд форматирования mrjob только на головном узле

У меня есть конфигурация mrjob, которая включает загрузку большого файла из s3 в HDFS. Я хотел бы включить эти команды в файл конфигурации, но кажется, что все команды начальной загрузки выполняются н

3зной

1ответ

MRJob: socket.error: [Errno 104] Connection reset by peer

Вкратце: «socket.error: [Errno 104] Исключение соединения путем однорангового исключения при использовании MRJob. Скрипт фактически имеет доступ к S3, потому что он создает ведра и загружает небольшие

0зной

1ответ

mrjob - автоматический tar исходного каталога

Я создал работу Amazon EMR, используя mrjob. Моя MapReduce работа наследует от общего вспомогательного класса, чтобы сделать мой разбор журнала апача я разбор проще, класс I унаследовать от распределя

1зной

1ответ

Использование комбайнера в потоковом потоке с использованием mrjob (используя mrjob)

Когда меня научили о Mapreduce, одним из ключевых компонентов был объединитель. Это шаг между преобразователем и редуктором, который, по существу, запускает редуктор в конце фазы карты, чтобы уменьшит

3зной

1ответ

Могу ли я использовать библиотеку python mrjob для разделенных таблиц улей?

У меня есть пользовательский доступ к серверу hadoop/cluster, содержащему данные, которые хранятся исключительно в секционированных таблицах/файлах в hive (avro). Мне было интересно, могу ли я выполня