Flink пример пользовательского разметки

Question

Прецедент, что я пытаюсь решить следующим образом:

• У нас есть поток данных, поступающих из Кафки
• Мы хотели бы, чтобы гарантировать, что сообщение/записи, содержащие тот же значение для конкретного объекта обрабатывается одним и тем же оператором.
• Мы хотели бы поддерживать состояние этого оператора, чтобы мы могли обогащать будущие сообщения.

Так, например:

• Давайте предположим, что все сообщения являются массивы байтов, имеющие представляющие кодированные данные.
• Все сообщения, которые имеют определенное значение в кодированных данных, должны обрабатываться одним оператором.
• Это так, что, когда мы получаем специальные сообщения, которые также соответствуют одному значению, они могут быть сохранены как состояние на Операторе (после разделителя) и могут использоваться для обогащения последующих сообщений.

Вопросы:

1. Будет ли пользовательские разметки помощь с этим?
2. Если нет, то было бы хорошим решением для этого?
3. Может ли кто-нибудь поделиться примером пользовательского разделителя в Flink для Datastream. Я не смог найти никаких полных примеров.

Answer 1

Пользовательский разделитель поможет, но это не обязательно для вас.

Вы можете просто извлечь значение группировки из своих сообщений и использовать его в качестве группы группировки. Таким образом, после того, как источники считывают данные, вы используете map для извлечения значения (например, Record -> (groupingValue, Record) с типами данных byte[] -> Tuple2<keyType,byte[]>, если вы хотите сохранить необработанное сообщение). Впоследствии вы можете использовать .keyBy(0) и применять любой оператор, который вы хотите на нем. keyBy гарантирует, что все записи с таким же значением в первом поле Tuple2 обрабатываются одним и тем же оператором.