emr

1зной

1ответ

Я столкнулся с проблемой и подумал о том, на какой вопрос я не нашел ответа. И это значит, Как я могу преднамеренно сделать шаг AWS EMR? У меня есть скрипт Spark Scala, который добавляется как шаг Spa

1зной

1ответ

ssh в экземпляр emr с ошибкой ssh_exchange_identification

Я пытаюсь передать ssh в экземпляр emr. Информация об IP-адресе и правиле. Идеи относительно того, что может быть проблемой? сеанса трассировки: > ssh -vv -i pemfile.pem [email protected] OpenSSH_6.9

3зной

1ответ

Каков правильный метод для запуска приложений python на aws emr?

Я подключен к главному узлу искрового кластера, работающий внутри ОГО, и я пытаюсь представить приложение на основе Python: spark-submit --verbose --deploy-mode cluster --master yarn-cluster --num-exe

0зной

2ответ

Загрузка Dataframe, которая заняла 2 минуты на Spark-shell, вечно ведется в Zeppelin

Загрузка Dataframe, которая заняла 2 минуты на Spark-shell, ведется в Цеппелине с запуском единственного узла Master, используя emr-5.0.0

7зной

1ответ

Amazon EMR: работает пользовательский Jar с вводом и выводом S3

Я пытаюсь запустить кластер EMR, у которого есть пользовательский шаг jar. Программа принимает входные данные от S3 и выводит их на S3 (или, по крайней мере, это то, что я хочу выполнить). В конфигура

2зной

2ответ

Является ли по умолчанию EMR Spark предварительно настроенным для прямого доступа к таблицам красного смещения?

Операции чтения/записи между EMR Spark и красным смещением могут быть выполнены через. intermediary data dump - s3. Есть искровые библиотеки, однако, которые могут непосредственно обращаться красное с

1зной

1ответ

AWS EMR - веб-клиент Apache Flink

Есть ли способ запустить веб-клиент Flink, чтобы разрешить отправку материалов при работе с использованием AWS EMR? Я загрузил FLink 1.1.2 и в старые документы < 1.0 Я вижу ссылки на ./bin/start-webcl

1зной

1ответ

Как остановить длительный этап искрообразования в AWS EMR

Я использую AWS EMR для нашего искрового потока. Я добавляю шаг в EMR, который считывает данные из потока Kinesis. Мне нужен подход, чтобы остановить этот шаг и добавить новый. Прямо сейчас я создаю п

0зной

1ответ

Spark and Amazon EMR: S3 Соединения не закрыты

Мое приложение проходит через строки текстового файла, содержащего S3-каталоги, считывает их, выполняет ETL-процессы, а затем записывает обратно на S3, в том же месте не работает несколько раз (пример