spark-submit

0зной

1ответ

Длинные работает искра отправить задание

Я пытаюсь запустить скрипт, используя искровой представить, как это spark-submit -v \ --master yarn \ --num-executors 80 \ --driver-memory 10g \ --executor-memory 10g \ --executor-cores 5 \ --cl

0зной

2ответ

искровых представить в Hadoop с Kerberos --proxy пользователя, --keytab и --principal параметра

Просто хотел бы получить разъяснения, если искровых представить --keytab --principal & & параметров --proxy-пользователей могут сосуществовать вместе? У нас есть требование представить работу в качест

1зной

2ответ

AWS EMR с использованием искровых шагов в режиме кластера. Приложение application_ завершено с неудачным состоянием

Я пытаюсь запустить кластер с помощью AWS Cli. Я использую следующую команду: aws emr create-cluster --name "Config1" --release-label emr-5.0.0 --applications Name=Spark --use-default-role --log-uri '

3зной

3ответ

Apache Spark - с помощью искрового представить бросает NoSuchMethodError

Чтобы подать заявку Спарк в кластер, их документация Примечания: Чтобы сделать это, создайте сборочный банку (или «убер» сосуд), содержащий ваши кода и его зависимостей. Оба sbt и Maven имеют сборные

1зной

2ответ

Свеча памяти водителя и Палач памяти

Я новичок Спарк и я бегу мое приложение для чтения данных 14kb из текста подавал, сделать некоторые преобразования и действия (сбор, collectAsMap) и сохранять данные в базу данных Я бегу он локально в

0зной

1ответ

SparkException с использованием JavaStreamingContext.getOrCreate(): В этом JVM может работать только один SparkContext

Связанный с this question, я получил подсказку, чтобы использовать эту идиому getOrCreate, чтобы избежать этих проблем. Но попытка: JavaStreamingContextFactory contextFactory = new JavaStreamingContex