искрового Монго разъема SparkR чтение из двух коллекций

Question

В разъеме Spark.mongo имеет Serveral lenguages ​​для запроса в Монго, Java и Scala предоставляет больше информации о коллекциях Diferent запроса следующим образом:

./bin/spark-shell --conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.coll 

И тогда в коде, можно указать другую коллекцию настройки конфигурации:

sc.loadFromMongoDB(ReadConfig(Map("uri" -> "mongodb://example.com/database.collection"))) 

Но я не могу сделать это с SparkR, SparkR-документация указывает на то, что вы можете добавить в оболочке:

./bin/sparkR --conf "spark.mongodb.input.uri=mongodb://cm/database.collection1" 

Но я не знаю, как указать по коду другую коллекцию, чтобы делать запросы из двух разных коллекций.

¿Как я могу указать другую коллекцию монго в SparkR?

Answer 1

Вы можете установить любой configuration options при создании dataframe, например:

# Read using the spark config 
df <- read.df(sqlContext, source = "com.mongodb.spark.sql.DefaultSource") 

# Read using the passed in uri config 
df1 <- read.df(sqlContext, source = "com.mongodb.spark.sql.DefaultSource", uri = "mongodb://example.com/database.collection1") 

На самом деле вам не нужно использовать Спарк Config на всех - это не обязательно, но если вы не вы должны обеспечить, как минимум, uri, database и collection информация.