Использование генератора для итерации по большой коллекции в Mongo

Question

У меня есть коллекция документов 500K +, которая хранится на одном монголе узла. Время от времени мой pymongo cursor.find() терпит неудачу, когда он истекает.

Хотя я мог установить find, чтобы игнорировать таймаут, мне не нравится этот подход. Вместо этого я попробовал генератор (адаптировано из this ответа и this ссылки):

def mongo_iterator(self, cursor, limit=1000): 
     skip = 0 
     while True: 
      results = cursor.find({}).sort("signature", 1).skip(skip).limit(limit) 

      try: 
       results.next() 

      except StopIteration: 
       break 

      for result in results: 
       yield result 

      skip += limit 

Я тогда этот метод вызывается с помощью:

ref_results_iter = self.mongo_iterator(cursor=latest_rents_refs, limit=50000) 
for ref in ref_results_iter: 
    results_latest1.append(ref) 

Проблемы: Моего итератор не возвращает то же число Результаты. Проблема в том, что next() продвигает курсор. Поэтому для каждого звонка я теряю один элемент ...

Вопрос: Есть ли способ адаптировать этот код, чтобы я мог проверить, существует ли следующее? Pymongo 3x не предоставляет hasNext() и 'alive' check is not guaranteed, чтобы вернуть false.

Answer 1

Почему бы не использовать

for result in results: 
    yield result 

для цикла должен обрабатывать StopIteration для вас.

Answer 2

Метод .find() принимает дополнительные аргументы ключевых слов. Одним из них является no_cursor_timeout, который необходимо установить в True

cursor = collection.find({}, no_cursor_timeout=True) 

Вам не нужно писать свою собственную функцию генератора. Метод find() возвращает объект типа генератора.