Зарегистрировать Spyder для ошибки Spark

Question

Я попытался настроить простой автономный Spark-кластер, с интерфейсом Spyder. Было несколько замечаний в списке рассылки и в другом месте, которые дают руководство how to do this.

Это не работает для моей установки. После того, как я представляю сценарий spark-submit, я получаю следующее сообщение об ошибке:

File "/home/philip/Programme/anaconda2/bin/spyder.py", line 4, in <module> import spyder.app.start 
ImportError: No module named app.start 

В моем понимании, это должно сделать что-то с переменной $PYTHONPATH. Я уже изменил путь к модулю py4j (в текущей свече версии 2.1.0, это py4j-0.10.4 вместо перечисленных одной

Мой .bashrc файл выглядит в настоящее время следующим образом:.

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 
export JRE_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre 
export SPARK_HOME=~/Programme/spark-2.1.0-bin-hadoop2.7 
export PATH=$PATH:$SPARK_HOME/bin 
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH 
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH 
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH 
export PATH=$PATHusr/bin/spyder 

export PYTHONPATH=${PYTHONPATH}home/philip/Programme/anaconda2/bin/ 

# added by Anaconda2 4.3.0 installer 
export PATH=/home/philip/Programme/anaconda2/bin:$PATH 

Если кто-то сталкивался аналогичная проблема, помощь очень ценится

Answer 1

я столкнулся с аналогичной ошибки причина в моем случае было то, что я еще не ставил PYTHONPATH Вы должны попробовать установить это к установке питона Таким образом, вместо:...

export PYTHONPATH=${PYTHONPATH}home/philip/Programme/anaconda2/bin/

Попробуйте

export PYTHONPATH=/home/philip/Programme/anaconda2/bin/python2.7

Я был в состоянии получить мои настройки Spyder происходит с помощью следующего кода в окне редактора Spyder:

import os 
import sys 

if 'SPARK_HOME' not in os.environ: 
    os.environ['SPARK_HOME']='/home/ramius/spark-2.1.1-bin-hadoop2.7' 
SPARK_HOME=os.environ['SPARK_HOME'] 

if 'PYTHONPATH' not in os.environ: 
    os.environ['PYTHONPATH']='/home/ramius/anaconda2/bin/python2.7' 
PYTHONPATH=os.environ['PYTHONPATH'] 

sys.path.insert(0,os.path.join(SPARK_HOME,"python")) 
sys.path.insert(0,os.path.join(SPARK_HOME,"python","lib")) 
sys.path.insert(0,os.path.join(SPARK_HOME,"python","lib","pyspark.zip")) 
sys.path.insert(0,os.path.join(SPARK_HOME,"python","lib","py4j-0.10.4-src.zip")) 

from pyspark import SparkContext 

Надежда, что помогает.