emr

1зной

1ответ

Amazon EMR + mrjob: bootstrap error, "bootstrap action 1 возвратил ненулевой код возврата"

Я пытаюсь запустить mrjob на EMR Amazon, используя экземпляры ec2. Он работал, пока не понял, что я использую пакеты python (mechanize, BeautifulSoup, boto). Итак, я добавил в мой файл mrjob.conf, но

4зной

1ответ

ClusterID vs JobFlowID на AWS EMR

Я немного запутался в доступных API и двух идентификаторах. Я использую boto, но не думаю, что проблема здесь: мой вопрос касается любого api (но не cli). Я запускаю JobFlow с RunJobFlow, который возв

1зной

2ответ

Ошибка Sqoop с использованием опции «--direct» с кодом выхода mysqldump 2 и 3

Я запускаю Sqoop в AWS EMR. Я пытаюсь скопировать таблицу ~ 10 ГБ из MySQL в HDFS. Я получаю следующее исключение 15/07/06 12:19:07 INFO mapreduce.Job: Task Id : attempt_1435664372091_0048_m_000000_2,

0зной

1ответ

Свинья убиты на Amazon EMR.

Я пытался запустить работу по пошиву с несколькими шагами на Amazon EMR. Вот подробности моего окружения: Количество узлов: 20 AMI Версия: 3.1.0 Hadoop распространения: 2.4.0 Сценарий свинка имеет нес

5зной

1ответ

Spark broadcasted variable возвращает NullPointerException при запуске в кластере EMR Amazon

Переменные, которые я разделяю посредством широковещательной передачи, являются нулевыми в кластере. Мое приложение является довольно сложным, но я написал этот небольшой пример, который работает безу

1зной

1ответ

AWS ОГО кластера завершается в то время как пользовательские самонастройками

Я бег следующей команды, чтобы создать ЭЙ кластер и кластер завершается в самонастройках фазе aws emr create-cluster --ami-version 3.1.0 \ --ami-version 3.8.0 \ --service-role EMR.sentmtEMRServiceRo

18зной

2ответ

Как загрузочная установка модулей Python на Amazon EMR?

Я хочу сделать что-то действительно базовое, просто запустите кластер Spark через консоль EMR и запустите скрипт Spark, который зависит от пакета Python (например, Arrow). Какой самый простой способ с

1зной

1ответ

AWS EMR с только узлами master & Task

Возможно ли построить AWS EMR с главным узлом и узлом задания (подчиненными) узлами (без внешних узлов), когда я уверен, что исходные данные находятся на S3 и обрабатываются результат будет сохранен в