Флинк: нет внешних соединений в DataStream?

Question

Я с удивлением обнаружил, что нет внешних соединений для DataStream в Flink (DataStream docs).

Для DataSet у вас есть все возможности: leftOuterJoin, rightOuterJoin и fullOuterJoin, помимо регулярного join (DataSet docs). Но для DataStream у вас просто простое старое соединение.

Это связано с некоторыми фундаментальными свойствами DataStream, которые делают невозможным наличие внешних соединений? Или, может быть, мы можем ожидать этого в будущем (закрытии?)?

Я мог бы использовать внешнее соединение на DataStream для проблемы, над которой я работаю ... Есть ли способ добиться подобного поведения?

Answer 1

Вы можете реализовать внешние соединения, используя преобразование DataStream.coGroup(). A CoGroupFunction получает два итератора (по одному для каждого входа), которые обслуживают все элементы определенного ключа и могут быть пустыми, если не найден соответствующий элемент. Это позволяет реализовать внешние функции соединения.

Первоначальная поддержка внешних соединений может быть добавлена ​​в API DataStream в одном из следующих выпусков Flink. На данный момент я не знаю о таких усилиях. Однако создание проблемы в Apache Flink JIRA может помочь.