поведения итератора в FLiNK reduceGroup

Question

Я создаю систему, которая должна обрабатывать огромное количество данных, и мне нужно, чтобы понять, как уменьшить оператор группы работает

У меня есть набор данных, где я применяю GroupBy и впоследствии reduceGroup Как выполняет ли итератор, который передается функции reduceGroup? - это ленивый итератор, который загружает данные, когда они запрошены, или нетерпеливый, который готовит все данные в памяти при его создании?

я с помощью API SCALA в Флинка 0,9 milestone1

Answer 1

Флинка выполняет группу по-за groupReduce с помощью оператора сортировки. Оператор sort получает определенный бюджет памяти для сортировки. Пока данные вписываются в этот бюджет, сортировка произойдет в памяти. В противном случае сортировка становится внешней сортировкой и разливом на диск. Flink считывает отсортированный поток данных и применяет функцию groupReduce «на лету». Данные группы не полностью считываются в памяти до того, как функция будет применена. Следовательно, вы можете обрабатывать очень большие группы, если пользовательская функция не материализует сами записи группы.