Получить большие результаты ~ 1 миллиард с помощью Typesafe Slick

Question

Я работаю над заданием cron, которое должно ежедневно запрашивать Postgres. Стол - огромные триллионы записей. В среднем я ожидаю получить около миллиарда записей за выполнение. Я не мог найти документацию по использованию курсоров или разбивки на страницы для Slick 2.1.0. Легкий подход, о котором я могу думать, - сначала вычислить счет, а затем выполнить цикл с помощью drop and take. Есть ли лучший и эффективный способ сделать это?

Answer 1

Map уменьшить с помощью akka, postgresql-async, сначала подсчитать, а затем распространять с помощью смещения + лимит-запрос субъектам, а затем сопоставлять данные по мере необходимости, а затем уменьшать результат до elasticsearch или другого магазина?