Как инициализировать новый код искры и номер исполнителей на YARN из RStudio

Question

Я работаю с SparkR.

Я могу установить Искровую Context на ПРЯЖАХ с требуемым количеством executors и executor-cores с такой командой:

spark/bin/sparkR --master yarn-client --num-executors 5 --executor-cores 5 

Теперь я пытаюсь инициализировать новый Спарк контекст, но из RStudio, который является более удобным для работы с обычной командной строкой.

Я понял, что для этого мне нужно будет использовать функцию sparkR.init(). Существует опция master, которую я установил в yarn-client, но как указать num-executors или executor-cores? Это где я сложены

library(SparkR, lib.loc = "spark-1.5.0-bin-hadoop2.4/R/lib") 

sc <- sparkR.init(sparkHome = "spark-1.5.0-bin-hadoop2.4/", 
        master = "yarn-client") 

Answer 1

Обеспечение sparkEnvir аргумент sparkR.init должен работать:

sparkEnvir <- list(spark.num.executors='5', spark.executor.cores='5') 

sc <- sparkR.init(
    sparkHome = "spark-1.5.0-bin-hadoop2.4/", 
    master = "yarn-client", 
    sparkEnvir = sparkEnvir)