Можно ли использовать qry.map_async(), когда количество результатов запроса велико?

Question

У меня есть задание cron AppEngine, которое запрашивает хранилище данных, а затем нужно выполнить некоторую работу над каждым объектом, возвращаемым запросом. Ожидается, что количество объектов, возвращаемых запросом, будет иногда большим (> 1000).

Моя цель - максимизировать параллелизм, а также поддерживать низкий уровень использования памяти - поскольку ожидаемое количество результатов велико, они могут не соответствовать памяти.

Учитывая большое # результатов, я должен перебрать их так:

qry = Model.query() 
qit = qry.iter() 
while (yield qit.has_next_async()): 
    entity = qit.next() 
    # Do something with entity 

... или это безопасно использовать быстрее map_async() работать на сколь угодно большом наборе результатов?

@ndb.tasklet 
def callback(entity): 
    # Do something with entity 

qry = Model.query() 
yield qry.map_async(callback) 

Я прочитал все документы и даже посмотрел на кишках реализации, и это не совсем ясно, что ограничения этих операций для больших наборов результатов.

Answer 1

Карта считывает пакет одновременно, а затем вызывает обратный вызов для каждого объекта в пакете. Так что все должно быть хорошо. Вы можете поэкспериментировать с размером партии.

Разница заключается в том, что сам обратный вызов делает больше ввода-вывода. Тогда версия for loop предположительно ожидает, что каждый элемент будет полностью обработан, в то время как карта только начинает все обратные вызовы и только ждет их в самом конце. Таким образом, больше параллелизма, бот также потенциально больше использует память.