emr

4зной

4ответ

Я пытаюсь запустить AWS ОГО кластер из AWS консоли, и я получаю следующее сообщение об ошибке: Failed to provision ec2 instances because 'IAM Instance Profile "arn:aws:iam::553706642095:instance-profi

0зной

1ответ

ЭЙ Hadoop Pig ошибки работы «Внутренняя ошибка конфигурация создания задания»

У меня есть работа PIG работает на Amazon EMR и suddnly он перестал работать давая следующую ошибку: Pig Stack Trace --------------- ERROR 2017: Internal error creating job configuration. org.apac

0зной

2ответ

Как заставить подчиненные узлы работать на Spark-кластер, используя EMR?

Я попытался выполнить задание на моем Spark-кластере, используя EMR. Кластер имеет один главный и два подчиненных устройства, и каждый узел (главный или подчиненный узел) имеет 32 ядра. Работа использ

2зной

1ответ

Как построить толстую банку для запуска искровой работы на ЭМИ?

Я пытаюсь запустить искру на ЭМИ. Я использую AMI 3.3.1, который мы видим here включает scala 2.11.1. Однако искра, похоже, скомпилирована против 2.10.x. Итак, в какой версии я должен скомпилировать с

1зной

3ответ

отчета Отключить приложения для искровой Работы

Когда я представляю работу Спарка (на AWS-ЭЙ), у меня есть много «INFO журнал» на консоли: 15/02/17 19: 44:46 INFO yarn.Client: отчет Заявка на application_1455192031517_0006 (состояние: ПРИНЯТ) 15/02

1зной

2ответ

Как работает карта-сокращение на HDFS против S3?

Я пытался понять, как выполняется работа по сокращению карты на HDFS vs S3. Может кто-то, пожалуйста, задайте мои вопросы: Обычно кластеры HDFS не только ориентированы на хранение, но также содержат м

0зной

1ответ

В PIG как проектировать неоднозначное поле в сумке?

У меня есть что-то вроде этого: joined = JOIN A BY F1, B BY F1 ; joinOutput = FOREACH joined GENERATE A::f3 AS f3, A::f4 AS f4, B::f5 AS f5 ; grouped = GROUP joinOutput BY f3 ; countOut

1зной

2ответ

EMR и Pig работают два шага, будут ли распространены общие файлы из S3 для повторного использования?

Я хочу запустить задание EMR Pig, которое в настоящий момент логически разделено на два сценария (и, следовательно, два шага), однако некоторые из файлов данных являются общими между этими двумя сцена