Share state среди операторов в Flink

Question

Интересно, возможно ли во Flink делиться состоянием между операторами.

Скажите, например, что у меня есть разделение по ключу на операторе, и мне нужно часть состояния раздела A внутри раздела C (по какой-либо причине) (рис. 1.a), или мне нужно состояние оператора C в операторе ниже по течению F (рис. 1.b).

Я знаю, что это возможно broadcast записей для всех разделов. Таким образом, если вы включаете внутреннее состояние оператора внутри записей, вы можете поделиться своим внутренним состоянием с операторами ниже по течению.
Однако это может быть дорогостоящая операция, а не просто дать op1 конкретно запросить состояние op2.

Недавние события вокруг запрашиваемое состояние переход к этой концепции или они предназначены только для того, чтобы позволить внешнему пользователю запрашивать внутреннее состояние топологии?

Заранее спасибо за ваши идеи

Answer 1

В общем, дизайн FLiNK не позволяет читать или записывать состояние других подзадач того же или разных операторов. Как вы сказали, вы можете использовать broadcast, чтобы сделать его доступным в глобальном масштабе. Запрошенные функции состояния предназначены для внешних пользовательских запросов.

Однако я слышал о пользователях, которые использовали эти функции в операторе для получения данных от других операторов той же работы. Я не знаю, как хорошо это работает (стабильность и производительность). Я бы указал вам на список рассылки пользователей для более подробного технического обсуждения, если вы хотите попробовать это.