emr

0зной

1ответ

Доступ к EMR, созданный в учетной записи A и со счета B

У меня есть кластер EMR в учетной записи A и SWF WF, работающий в учетной записи B. Активность SWF пытается скопировать данные в кластер EMR. Но копия завершилась с ошибкой аутентификации. У любого ес

2зной

1ответ

Как включить требуемые библиотеки PHP в потоковый кластер AWS EMR

Я создал проект PHP, который преобразует формат JSON в формат AVRO. Исходный проект требует PHP libs, который я не уверен, как добавить EMR. Это журнал STDERR получен ЭМИ: PHP Warning: require_once(ve

2зной

2ответ

Amazon EMR и Hive: получение исключения «java.io.IOException: не файл» при загрузке подкаталогов во внешнюю таблицу

Я использую Amazon EMR. У меня есть некоторые данные журнала в s3, все в том же ведре, но в разных подкаталогах как: "s3://bucketname/2014/08/01/abc/file1.bz" "s3://bucketname/2014/08/01/abc/file2.bz

0зной

1ответ

Есть ли способ добавить несколько заданий с помощью HadoopJarStepConfig jarConfig = new HadoopJarStepConfig (HADOOP_JAR);

Я написал рабочий процесс AWS SWF, и первое действие - загрузить кластер и запустить программу mapreduce. Это действие также похоже на 2 других баннера mapreduce, которые будут выполняться в зависимос

3зной

1ответ

Выполнение заданий с использованием кластера EMR и файлов s3 из другой учетной записи

Я хотел бы знать, есть ли способ доступа к файлам jar и местоположению ввода и вывода из s3 другой учетной записи. У меня есть кластер EMR, работающий на учетной записи 1. Я хочу получить доступ к фай

0зной

1ответ

Как создать приватную подсеть с использованием AWS java SDK

Я могу создать подсеть в моем vpc. Но, это публичная подсеть. Однако я хотел бы создать приватную подсеть, связанную с моим VPC. Как я мог добиться этого. Благодарю. частного createSubnet статического

-1зной

1ответ

Некоторые задачи на карте() терпят неудачу, когда я запускаю ее на AWS

Я выполнял ранжирование страницы по s3: // aws-publicdatasets/common-crawl/parse-output/segment/1346876860819/metadata-XXXX dataset. Программа работала, когда я использую 10 файлов (около 1 ГБ) с 2 m1

0зной

1ответ

Повторное использование экземпляра Amazon Elastic MapReduce с помощью AWS Java SDK

Эта ссылка (Re-use Amazon Elastic MapReduce instance) дает возможность повторно использовать экземпляр, как этот elastic-mapreduce --jobflow job-id \ --jar s3n://some-path/x.jar \ --step-name "New ste