SparkR Ошибка в sparkR.init (master = "local") в RStudio

Question

Я установил пакет SparkR из дистрибутива Spark в библиотеку R. Я могу назвать следующую команду и, кажется, работает правильно: library(SparkR)

Однако, когда я пытаюсь получить контекст Спарк, используя следующий код,

sc <- sparkR.init(master="local") 

Он терпит неудачу через некоторое время со следующим сообщением:

Error in sparkR.init(master = "local") : 
    JVM is not ready after 10 seconds 

Я поставил JAVA_HOME, и у меня есть рабочий RStudio, где я могу получить доступ другие пакеты, как ggplot2. Я не знаю, почему он не работает, и я даже не знаю, где его расследовать.

Answer 1

У меня была та же проблема, и мой файл spark-submit.cmd также не выполнялся из командной строки. Следующие шаги сработали для меня

Перейдите к переменным среды и в системных переменных выберите имя переменной PATH. Наряду с другими значениями добавьте c:/Windows/System32/, разделенные точкой с запятой. Это заставило мою spark-submit.cmd работать из командной строки и, в конечном итоге, из Rstudio.

Я понял, что мы получили вышеупомянутую проблему, только если все требуемые значения пути не указаны. Убедитесь, что все значения пути (R, Rtools) указаны в переменных среды. Например, мой путь Rtools был c:\Rtools\bin;c:\Rtools\gcc-4.6.3\bin

Надеюсь, это поможет.

Answer 2

Попробуйте предоставить разрешения на выполнение C: /sparkpath/bin/spark-submit.cmd. Это сработало для меня.

Answer 3

У меня есть то же сообщение об ошибке. Мой случай немного отличается, так как я успешно запускал SparkR в RStudio. Но через несколько дней он больше не работает.

Рассматривая преобразование между Шиварамом Венкатараманом и Пракашем Ponshankaarchinnusamy, я понял, что это может иметь какое-то отношение к разрешению на работу.

https://issues.apache.org/jira/browse/SPARK-8603

Так что я сделал, что в конечном итоге работает, является то, что я разархивировать искровой tar.gz моей C: снова/папки (ранее она хранится в D:/привод) И SparkR РАБОТАЕТ! !!

screenshot of working RStudio

Answer 4

После установки Hadoop с последующим Спарк.

spark_path <- strsplit(system("brew info apache-spark",intern=T)[4],' ')[[1]][1] # Get your spark path .libPaths(c(file.path(spark_path,"libexec", "R", "lib"), .libPaths())) library(SparkR