amazon-emr

0зной

1ответ

Как указать атрибуты экземпляра Ec2 в AWS :: EMR :: Шаблон CloudFormation кластера?

Очень новый для AWS и смотрит на EMR и надеется на некоторое направление и информацию здесь. Я хочу создать шаблон формирования облаков для EMR с использованием AWS:EMR:Cluster, однако я не вижу спосо

2зной

1ответ

Укажите конфигурацию безопасности в EMA Amazon из шаблона CloudFormation

При создании кластера EMR вы можете указать конфигурацию безопасности, которую я создал ранее. Как указать эту опцию из шаблона облачной формы JSON? Я ссылка здесь: http://docs.aws.amazon.com/AWSCloud

0зной

1ответ

Создайте EMR 5.3.0 с EMRFS (ведро s3) как хранилище

Я пытаюсь создать EMR 5.3.0 с EMRFS (ведро S3) в качестве хранилища. Просьба представить общее руководство по этому вопросу. В настоящее время я использую ниже команд для создания ЭХ 5.3.0 с InstanceT

0зной

2ответ

Улей с emrfs

Я импортирую таблицы из Amazon RDS в Hive, используя sqoop. Процесс работает, и данные хранятся в каталоге hief по умолчанию h/x:/user/hive/warehouse. Мне нужно изменить местоположение хранилища от hd

0зной

1ответ

EMR Spark - Как я могу увидеть прогресс записи файлов на S3?

Есть ли какая-либо услуга в EMR или пути, где я могу видеть индикатор выполнения (или прошедшее время), когда я отправляю задание создания паркетных файлов на S3? Код: df.write.partitionBy("date").mod

0зной

1ответ

Настройка конвейера данных AWS на долговременном кластере EMR

Если у меня есть длительный период работы EMR-кластера, и после этого я хочу настроить Data Pipeline на что-то в этом кластере, как я могу это сделать? Я должен установить Task Runner на этом кластере

0зной

1ответ

Автомасштабирование AWS ОГО кластера до 0 узлов

Cross проводка от: https://forums.aws.amazon.com/thread.jspa?messageID=766424 Эй, Попытки применить эту политику к основной группе например: { "Constraints": { "MinCapacity": 0, "MaxC

2зной

2ответ

Amazon EMR Pyspark: rdd.distinct.count() failling

В настоящее время я работаю с кластером EMR, подключающимся к RDS, чтобы собрать 2 таблицы. Два созданных RDD довольно велики, но я могу выполнять операции .take (x), другие из них. я также можем выпо

1зной

2ответ

AWS EMR с использованием искровых шагов в режиме кластера. Приложение application_ завершено с неудачным состоянием

Я пытаюсь запустить кластер с помощью AWS Cli. Я использую следующую команду: aws emr create-cluster --name "Config1" --release-label emr-5.0.0 --applications Name=Spark --use-default-role --log-uri '