Обновление Apache Spark от 1.5.2 до 1.6.0 с использованием homebrew, приводящее к разрешению отказа в ошибке во время выполнения

Question

Я только что обновил Spark от 1.5.2 до 1.6.0 с помощью Homebrew и сбросил переменную окружения SPARK_HOME на /usr/local/Cellar/apache-spark/1.6.0. Теперь, выполняя pyspark, он дает разрешенную ошибку.

Если я зашел в более ранний каталог установки 1.5.2 и выполнил pyspark оттуда, он работает нормально. Но запуск pyspark из каталога установки 1.6.0 не выполняется, если это разрешение отклонено.

/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2: /usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: Permission denied

/usr/local/Cellar/apache-spark/1.6.0/bin/load-spark-env.sh: line 2: exec: /usr/local/Cellar/apache-spark/1.6.0/libexec/bin/load-spark-env.sh: cannot execute: Undefined error: 0

Что может быть причиной этого?

Answer 1

Работали делая unset SPARK_HOME && pyspark (кредит Ноли ниже)

Wanted, чтобы получить SparkContext работает в IPython, оказалось быть спокойным прямо.

unset SPARK_HOME IPYTHON=1 pyspark

Answer 2

Я столкнулся с той же проблемой, и самым простым решением является установка $SPARK_HOME в /usr/local/Cellar/apache-spark/<your_spark_version>/libexec/.

Вы также можете построить источник напрямую, и вы можете найти инструкции here.

В основном просто сделать

git clone https://github.com/apache/spark/` 
cd spark 
git checkout origin/branch-X.Y 

build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package 

Вам необходимо установить $SPARK_HOME в каталоге верхнего уровня исходного кода искрой.

Answer 3

Билет на странице проекта помогло:

unset SPARK_HOME && spark-submit 

https://github.com/Homebrew/homebrew/issues/48898#issuecomment-180633967

Answer 4

Я также столкнулся с той же ошибки, как разрешения отказано для запуска spark-shell. Я изменил права доступа к файлам. Это сработало для меня. Перейти к родительскому каталогу spark-1.6.x и выполните следующие действия:

chmod 777 spark-1.6.x -R 

Это изменит разрешение файла рекурсивно.