Установлена переменная env SPARK_HOME, но Jupyter Notebook ее не видит. (Windows)

Я нахожусь в Windows 10. Я пытался запустить Spark в Jupyter Notebook вместе с Python 3.5. Я установил предварительно построенную версию Spark и установил переменную окружения SPARK_HOME. Я установил findspark и запустить код:Установлена переменная env SPARK_HOME, но Jupyter Notebook ее не видит. (Windows)

import findspark 
findspark.init()

Я получаю сообщение об ошибке Значение:

ValueError: Couldn't find Spark, make sure SPARK_HOME env is set or Spark is in an expected location (e.g. from homebrew installation).

Однако переменная SPARK_HOME устанавливается. Here - скриншот, который показывает, что список переменных окружения в моей системе.

Неужели кто-нибудь столкнулся с этой проблемой или будет знать, как это исправить? Я только нашел старую дискуссию, в которой кто-то установил SPARK_HOME в неправильную папку, но я не думаю, что это мое дело.

источник

2016-07-16 Andrea

Я не вижу список переменных среды на скриншоте, который вы опубликовали. Можете ли вы отредактировать изображение, чтобы выделить их, чтобы их было легче найти. – dmlicht

Уважаемый dmlicht, вы очень правы, его там не было! Возможно, возникла проблема снятия скриншота в Windows ... [Здесь] (https://www.dropbox.com/s/1oxae74d9bsoz6x/env_var.png?dl=0) является ссылкой на изображение с переменными env , Спасибо, что заметили это! (Я также пытался сделать это с помощью SPARK_HOME в качестве пользовательской переменной, а не с системной переменной, но она не сработала) – Andrea

У меня была такая же проблема, и она была решена путем установки «бродячих» и «виртуальных боксов». (Обратите внимание, хотя я использую Mac OS и Python 2.7.11)

Взгляните на этом учебнике, который является для курса Гарварда CS109: https://github.com/cs109/2015lab8/blob/master/installing_vagrant.pdf

После «бродячей перезагрузки» на терминале, я способный запускать мои коды без ошибок. Обратите внимание на разницу между результатом команды os.getcwd, показанной на прилагаемых изображениях.

источник

2016-07-16 23:05:26

Спасибо - мне было бы интересно узнать, как это сделать только в Windows (т. Е. Без виртуального), но примут ваш ответ как ответ через пару дней, если никто другой не ответит. – Andrea

У меня была такая же проблема, и впустую много времени. Я нашел два решения:

Есть два решения

копии загруженных искрового папку в где-то в директории C и дать ссылку ниже
```
import findspark 
findspark.init('C:/spark') 
```
использовать функцию findspark найти автоматически искровая папка
```
import findspark 
findspark.find() 
```

источник

2017-12-20 12:05:49 emdi

Установлена ​​переменная env SPARK_HOME, но Jupyter Notebook ее не видит. (Windows)

ответ

Смежные вопросы

Установлена переменная env SPARK_HOME, но Jupyter Notebook ее не видит. (Windows)