Datastax Spark работник всегда ищет мастера на 127.0.0.1

Я пытаюсь открыть datastax cassandra в режиме аналитики, используя «dse cassandra -k -s». Я использую песочницу DSE 5.0 для настройки одного узла.Datastax Spark работник всегда ищет мастера на 127.0.0.1

Я установил spark-env.sh с SPARK_MASTER_IP, а также SPARK_LOCAL_IP, чтобы указать на мой IP-адрес локальной сети.

export SPARK_LOCAL_IP="172.40.9.79" 
export SPARK_MASTER_HOST="172.40.9.79" 
export SPARK_WORKER_HOST="172.40.9.79" 
export SPARK_MASTER_IP="172.40.9.79"

Все вышеперечисленные переменные установлены в spark-env.sh.

Несмотря на это, рабочий не придет. Он всегда ищешь хозяин в 127.0.0.1.This это ошибка я вижу в /var/log/cassandra/system.log

WARN [worker-register-master-threadpool-8] 2016-10-04 08:02:45,832 SPARK-WORKER Logging.scala:91 - Failed to connect to master 127.0.0.1:7077 
java.io.IOException: Failed to connect to /127.0.0.1:7077

Результат от DSE клиента инструмента показывает 127.0.0.1

$ dse client-tool -u cassandra -p cassandra spark master-address 
spark://127.0.0.1:7077

Однако я могу получить доступ к искровым веб-интерфейс с IP LAN 172.40.9.79

Spark Web UI screenshot

Любая помощь очень ценится

источник

2016-10-04 I.Peer

Я оставил listen_address в cassandra.yaml как localhost. Указывая, что до 172.40.9.79 исправлена проблема –

Попробуйте добавить в файл spark-defaults.conf этот параметр: spark.master local [*] или spark.master 172.40.9.79. Возможно, это решает вашу проблему.

источник

2016-10-05 00:06:40

Это не помогло, спасибо за предложение. Я исправил его, указав listen_address на 172.40.9.79 в файле cassandra.yaml –

Datastax Spark работник всегда ищет мастера на 127.0.0.1

ответ

Смежные вопросы