spark-ec2

5зной

1ответ

Spark: Как увеличить размер диска в ведомых устройствах

Как начать кластер с ведомыми устройствами, каждый из которых имеет накопитель на 100 ГБ. ./spark-ec2 -k xx -i xx.pem -s 1 --hadoop-major-version=yarn --region=us-east-1 \ --zone=us-east-1b --spark-v

1зной

2ответ

Hadoop ошибка при использовании искры подать

Я пытаюсь искровым отправить с помощью Amazon EC2 со следующим: spark-submit --packages org.apache.hadoop:hadoop-aws:2.7.1 --master spark://amazonaws.com SimpleApp.py и я в конечном итоге со следующ

0зной

2ответ

искровых искровой EC2 учетных данные с использованием aws_security_token

Я хотел бы спросить, если это возможно в настоящее время использовать искровые EC2 скрипт https://spark.apache.org/docs/latest/ec2-scripts.html вместе с учетными данными, которые, состоящие не только

1зной

1ответ

Apache Spark EC2 Сценарий запуска запуска, но не мастер

При использовании сценария Apache Spark EC2 для запуска кластера я обнаружил ошибку, которая начинает ударяться о мой карман. При указании количества ведомых: если вы вводите число, которое больше или

0зной

1ответ

Apache Спарк EC2 не c4.2xlarge запуск

При попытке запуска EC2 кластера (c4.2xlarge) с помощью Спарк EC2 скрипт Apache, я получаю следующее сообщение об ошибке: Don't recognize c4.2xlarge, assuming type is pvm Spark AMI: ami-9a6e0daa Lau