Usecases для GroupCombine in flink

Question

Может ли кто-нибудь предоставить некоторый свет на практические применения GroupCombine Grouped Dataset в Apache flink.

Ref: https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/batch/dataset_transformations.html#groupcombine-on-a-grouped-dataset

Answer 1

GroupCombine используется в целях оптимизации. В отличие от GroupReduce, он не перетаскивает данные, а работает только на отдельных разделах. Это помогает уменьшить количество данных, которые будут отправлены для последующей операции сокращения. Говоря простыми словами, это операция локального сокращения.

Если вы знакомы с функциями «Уменьшить карту» в Hadoop, у нас также есть функция объединителя. Этот GroupCombine в Flink работает точно так же.

Здесь представлено визуальное представление Combiner в Hadoop.

Надеется, что это помогает!