2016-08-04 6 views
0

У меня есть процесс Спарка, который в настоящее время используется в Монго-Hadoop мосте (от https://github.com/mongodb/mongo-hadoop/blob/master/spark/src/main/python/README.rst), чтобы получить доступ к базе данных Монго:Подключения к Монго с набором реплик и Монго-Hadoop разъемом для Спарка

mongo_url = 'mongodb://localhost:27017/db_name.collection_name' 
mongo_rdd = spark_context.mongoRDD(mongo_url) 

Экземпляр Монго теперь обновляется до кластера, доступ к которому возможен только с помощью набора реплик.

Как создать RDD с помощью соединителя mongo-hadoop? MongoRDD() переходит в mongoPairRDD(), который может не принимать несколько строк.

ответ

0

Коннектор Hadoop MongoDB mongoRDD может принимать действующие MongoDB Connection String.

Например, если теперь это реплика набор вы можете указать:

mongodb://db1.example.net,db2.example.net:27002,db3.example.net:27003/?db_name&replicaSet=YourReplicaSetName 

Смотри также сопутствующую информацию: