SparkR job (R script) submit using spark-submit fail в BigInsights Hadoop cluster

Question

Я создал службу IBM BigInsights с кластером hadoop из 5 узлов (включая Apache Spark с SparkR). Я пытаюсь использовать SparkR для подключения cloudant db, получения некоторых данных и обработки.

SparkR job (R script) submit, использующий искра-подачу не работает в BigInsights Hadoop-кластере. Я создал SparkR сценарий и побежал следующий код,

-bash-4.1$ spark-submit --master local[2] test_sparkr.R 
16/08/07 17:43:40 WARN SparkConf: The configuration key 'spark.yarn.applicationMaster.waitTries' has been deprecated as of Spark 1.3 and and may be removed in the future. Please use the new key 'spark.yarn.am.waitTime' instead. 
Error: could not find function "sparkR.init" 
Execution halted 
-bash-4.1$ 

Содержание test_sparkr.R файла:

# Creating SparkConext and connecting to Cloudant DB 
sc <- sparkR.init(sparkEnv = list("cloudant.host"="<<cloudant-host-name>>","<<><<cloudant-user-name>>>","cloudant.password"="<<cloudant-password>>", "jsonstore.rdd.schemaSampleSize"="-1")) 

# Database to be connected to extract the data 
database <- "testdata" 
# Creating Spark SQL Context 
sqlContext <- sparkRSQL.init(sc) 
# Creating DataFrame for the "testdata" Cloudant DB 
testDataDF <- read.df(sqlContext, database, header='true', source = "com.cloudant.spark",inferSchema='true') 

Как установить искровым Cloudant разъем в IBM BigInsights и решить эту проблему. Пожалуйста, сделайте необходимое. Помощь будет высоко оценена.

Answer 1

Я считаю, что свечи зажигания не предназначены для R.

Надеюсь, я смогу обновить этот ответ, когда он есть!