, как: искры пряжи кластера

Question

Я создал Hadoop кластер с 3-мя машинами один мастер и 2 ведомый В мастер я установил искру

SPARK_HADOOP_VERSION=2.4.0 SPARK_YARN=true sbt/sbt clean assembly 

Добавлено HADOOP_CONF_DIR =/USR/местные/Hadoop/и т.д./Hadoop spark-env.sh

Then i ran SPARK_JAR=./assembly/target/scala-2.10/spark-assembly-1.0.0-SNAPSHOT-hadoop2.4.0.jar HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop ./bin/spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi --num-executors 3 --driver-memory 4g --executor-memory 2g --executor-cores 1 examples/target/scala-2.10/spark-examples-1.0.0-SNAPSHOT-hadoop2.4.0.jar 

Я проверил LOCALHOST: 8088 и я видел SparkPi приложение работает ..

это просто это или я должен установить искру в 2-х ведомых машин .. Как я могу запустить все машины?

Есть ли помощь док там .. Я чувствую, что я что-то не хватает ..

В искрового автономном более мы начинаем мастер и рабочий ./bin/spark-class org.apache.spark. deploy.worker.Worker искра: // IP: PORT

я также хотел бы знать, как получить больше, чем один работал работает в этом случае, а также

и я знаю, что мы можем настроить рабов в конф/ведомый но может ли кто-нибудь поделиться примером

Пожалуйста, помогите я застрял

Answer 1

Предполагая, что вы используете Спарк 1.1.0, как говорится в документации (http://spark.apache.org/docs/1.1.0/submitting-applications.html#master-urls), для мастера параметра вы можете использовать значение пряжи кластера или пряжи клиент. В этом случае вам не нужно использовать параметр deploy-mode.

Вам не нужно устанавливать Spark на все узлы YARN. Вот почему YARN предназначен для: распространения вашего приложения (в данном случае Spark) над кластером Hadoop.