emr

0зной

1ответ

Создайте EMR 5.3.0 с EMRFS (ведро s3) как хранилище

Я пытаюсь создать EMR 5.3.0 с EMRFS (ведро S3) в качестве хранилища. Просьба представить общее руководство по этому вопросу. В настоящее время я использую ниже команд для создания ЭХ 5.3.0 с InstanceT

0зной

1ответ

EMR Spark - Как я могу увидеть прогресс записи файлов на S3?

Есть ли какая-либо услуга в EMR или пути, где я могу видеть индикатор выполнения (или прошедшее время), когда я отправляю задание создания паркетных файлов на S3? Код: df.write.partitionBy("date").mod

0зной

1ответ

Автомасштабирование AWS ОГО кластера до 0 узлов

Cross проводка от: https://forums.aws.amazon.com/thread.jspa?messageID=766424 Эй, Попытки применить эту политику к основной группе например: { "Constraints": { "MinCapacity": 0, "MaxC

2зной

2ответ

Amazon EMR Pyspark: rdd.distinct.count() failling

В настоящее время я работаю с кластером EMR, подключающимся к RDS, чтобы собрать 2 таблицы. Два созданных RDD довольно велики, но я могу выполнять операции .take (x), другие из них. я также можем выпо

1зной

1ответ

Очистка ресурсов с помощью сеанса Hive Закрыть

Мне нужно создать объект ресурсов (геокодер с двоичными данными) в моем пользовательском UDF. Эти ресурсы должны быть созданы единовременно для UDF, и каждый обработчик будет содержать один экземпляр