1. дома
  2. Вопрос и ответ
  3. Исходный выпуск искрового кластера

Исходный выпуск искрового кластера

2017-01-11 11 views
0

Я новичок в искры и пытаюсь настроить искровой кластер. Я сделал следующее, чтобы настроить и проверить состояние искрового кластера, но не уверен в статусе.Исходный выпуск искрового кластера

Я попытался проверить master-ip: 8081 (8080, 4040, 4041) в браузере, но не видел никаких результатов. Начнем с того, что я настроил и запустил кластер hasoop.

JPS gives: 

2436 SecondaryNameNode 
2708 NodeManager 
2151 NameNode 
5495 Master 
2252 DataNode 
2606 ResourceManager 
5710 Jps

Вопрос (Это было необходимо, чтобы начать Hadoop?)

В Master/USR/местные/искровым/CONF/ведомых

localhost 
slave-node-1 
slave-node-2

Теперь, чтобы начать искрой; Мастер работы с

$SPARK_HOME/sbin/start-master.sh

и протестирована с

ps -ef|grep spark 
    hduser 5495  1 0 18:12 pts/0 00:00:04 /usr/local/java/bin/java -cp /usr/local/spark/conf/:/usr/local/spark/jars/*:/usr/local/hadoop/etc/hadoop/ -Xmx1g org.apache.spark.deploy.master.Master --host master-hostname --port 7077 --webui-port 8080

На ведомом узле 1

$SPARK_HOME/sbin/start-slave.sh spark://205.147.102.19:7077

Протестировано

ps -ef|grep spark 
hduser 1847  1 20 18:24 pts/0 00:00:04 /usr/local/java/bin/java -cp /usr/local/spark/conf/:/usr/local/spark/jars/* -Xmx1g org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://master-ip:7077

же на рабский узел 2

$SPARK_HOME/sbin/start-slave.sh spark://master-ip:7077 
    ps -ef|grep spark 
    hduser 1948  1 3 18:18 pts/0 00:00:03 /usr/local/java/bin/java -cp /usr/local/spark/conf/:/usr/local/spark/jars/* -Xmx1g org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://master-ip:7077

Я не смог ничего увидеть на веб-консоли искры .. поэтому я думал, что проблема может быть связана с брандмауэром. Вот мой Iptables ..

iptables -L -nv 
    Chain INPUT (policy ACCEPT 0 packets, 0 bytes) 
    pkts bytes target  prot opt in  out  source    destination   
    6136 587K fail2ban-ssh tcp -- *  *  0.0.0.0/0   0.0.0.0/0   multiport dports 22 
    151K 25M ACCEPT  all -- *  *  0.0.0.0/0   0.0.0.0/0   state RELATED,ESTABLISHED 
    6 280 ACCEPT  icmp -- *  *  0.0.0.0/0   0.0.0.0/0   
    579 34740 ACCEPT  all -- lo  *  0.0.0.0/0   0.0.0.0/0   
    34860 2856K ACCEPT  all -- eth1 *  0.0.0.0/0   0.0.0.0/0   
    145 7608 ACCEPT  tcp -- *  *  0.0.0.0/0   0.0.0.0/0   state NEW tcp dpt:22 
    56156 5994K REJECT  all -- *  *  0.0.0.0/0   0.0.0.0/0   reject-with icmp-host-prohibited 
    0  0 ACCEPT  tcp -- *  *  0.0.0.0/0   0.0.0.0/0   tcp dpt:8080 
    0  0 ACCEPT  tcp -- *  *  0.0.0.0/0   0.0.0.0/0   tcp dpt:8081 

    Chain FORWARD (policy ACCEPT 0 packets, 0 bytes) 
    pkts bytes target  prot opt in  out  source    destination   
    0  0 REJECT  all -- *  *  0.0.0.0/0   0.0.0.0/0   reject-with icmp-host-prohibited 

Chain OUTPUT (policy ACCEPT 3531 packets, 464K bytes) 
pkts bytes target  prot opt in  out  source    destination   

Chain fail2ban-ssh (1 references) 
pkts bytes target  prot opt in  out  source    destination   
2 120 REJECT  all -- *  *  218.87.109.153  0.0.0.0/0   reject-with icmp-port-unreachable 
5794 554K RETURN  all -- *  *  0.0.0.0/0   0.0.0.0/0

Я пытаюсь все, что я могу видеть, если искрового кластер установлен вверх и как проверить его правильно. И если кластер настроен, почему я не могу проверить это на веб-консоли? Что может быть неправильным? Все указатели будут полезны ...

EDIT - ДОБАВЛЕНИЕ ЖУРНАЛОВ после искрового оболочки --master местной команды (в мастере)

17/01/11 18:12:46 INFO util.Utils: Successfully started service 'sparkMaster' on port 7077. 
17/01/11 18:12:47 INFO master.Master: Starting Spark master at spark://master:7077 
17/01/11 18:12:47 INFO master.Master: Running Spark version 2.1.0 
17/01/11 18:12:47 INFO util.log: Logging initialized @3326ms 
17/01/11 18:12:47 INFO server.Server: jetty-9.2.z-SNAPSHOT 
17/01/11 18:12:47 INFO handler.ContextHandler: Started [email protected]{/app,null,AVAILABLE} 
17/01/11 18:12:47 INFO handler.ContextHandler: Started [email protected]{/app/json,null,AVAILABLE} 
17/01/11 18:12:47 INFO handler.ContextHandler: Started [email protected]{/,null,AVAILABLE} 
17/01/11 18:12:47 INFO handler.ContextHandler: Started [email protected]{/json,null,AVAILABLE} 
17/01/11 18:12:47 INFO handler.ContextHandler: Started [email protected]{/static,null,AVAILABLE} 
17/01/11 18:12:47 INFO handler.ContextHandler: Started [email protected]{/app/kill,null,AVAILABLE} 
17/01/11 18:12:47 INFO handler.ContextHandler: Started [email protected]{/driver/kill,null,AVAILABLE} 
17/01/11 18:12:47 INFO server.ServerConnector: Started [email protected]{HTTP/1.1}{0.0.0.0:8080} 
17/01/11 18:12:47 INFO server.Server: Started @3580ms 
17/01/11 18:12:47 INFO util.Utils: Successfully started service 'MasterUI' on port 8080. 
17/01/11 18:12:47 INFO ui.MasterWebUI: Bound MasterWebUI to 0.0.0.0, and started at http://master:8080 
17/01/11 18:12:47 INFO server.Server: jetty-9.2.z-SNAPSHOT 
17/01/11 18:12:47 INFO handler.ContextHandler: Started [email protected]{/,null,AVAILABLE} 
17/01/11 18:12:47 INFO server.ServerConnector: Started [email protected]{HTTP/1.1}{master:6066} 
17/01/11 18:12:47 INFO server.Server: Started @3628ms 
17/01/11 18:12:47 INFO util.Utils: Successfully started service on port 6066. 
17/01/11 18:12:47 INFO rest.StandaloneRestServer: Started REST server for submitting applications on port 6066 
17/01/11 18:12:47 INFO handler.ContextHandler: Started [email protected]{/metrics/master/json,null,AVAILABLE} 
17/01/11 18:12:47 INFO handler.ContextHandler: Started [email protected]{/metrics/applications/json,null,AVAILABLE} 
17/01/11 18:12:47 INFO master.Master: I have been elected leader! New state: ALIVE

В ведомом nodes-

17/01/11 18:22:46 INFO Worker: Connecting to master master:7077... 
17/01/11 18:22:46 WARN Worker: Failed to connect to master master:7077

тонн Java ошибки ..

17/01/11 18:31:18 ERROR Worker: All masters are unresponsive! Giving up.

источник

2017-01-11 tired and bored dev

ответ

1

Спарк запуска веб-интерфейса при создании SparkContext

Попробуйте запустить spark-shell --master yourmaster:7077, а затем откройте Spark UI. Вы также можете использовать spark-sumit для отправки некоторого приложения, затем будет создан SparkContext.

Пример spark-submit из Спарк documentation:

./bin/spark-submit \ 
    --class org.apache.spark.examples.SparkPi \ 
    --master spark://207.184.161.138:7077 \ 
    --deploy-mode cluster \ 
    --supervise \ 
    --executor-memory 20G \ 
    --total-executor-cores 100 \ 
    /path/to/examples.jar \ 
    1000

Ответ на первый вопрос: вы должны начать компоненты Hadoop, если вы хотите использовать HDFS или пряжу. Если нет, они не могут быть запущены.

Также вы можете перейти на /etc/hosts/ и удалить строку с 127.0.0.1 или MASTER_IP переменная в конфигурации Spark для правильного имени хоста

источник

2017-01-11 13:30:41

+0

Была ли искровая оболочка - master local (в мазере), Получил сообщение о том, что контекст Spark Web UI доступен по адресу http: // master-ip: 4040 ... Но когда открыт браузер, ничего не показывающий ... Так что мой вопрос - это искровой кластер? И являются подчиненными-1, а slave-2 - частью кластера? Если да, то как я могу подтвердить? И, наконец, что может быть не так с веб-консолью? –

+1

Просьба предоставить журналы мастеров и работников –

+0

Пожалуйста, проверьте изменения. Я думаю, проблема могла быть iptables, кластер не начинался. из-за iptables ... но я все еще не могу понять, почему я не вижу веб-консоль ... –

0

Проблема была в IP-таблицах. большинство других вещей было прекрасным. Поэтому я просто следил за инструкциями здесь https://wiki.debian.org/iptables, чтобы исправить IP-таблицы, и это сработало для меня. Только то, что вы должны знать, какие порты будут использоваться для искры/hadoop и т. Д., Я открыл 8080, 54310, 50070, 7077 (некоторые значения по умолчанию использовались многими для установки с галопом и искробезопасностью) ...

источник

2017-01-11 18:36:25

 Смежные вопросы

  • Нет связанных вопросов^_^