Поддержка нескольких потоков в Apache Flink Job

Question

Мой вопрос в отношении рамки Apache Flink.

Есть ли способ поддержать несколько потоков, таких как kafka и twitter, в одной работе с flink? Есть ли какая-нибудь работа. Можем ли мы обрабатывать несколько источников потоковой передачи за один раз в однофланговой работе?

Я работаю в Spark Streaming, и это ограничение существует.

Возможно ли это для других потоков, таких как Apache Samza, Storm или NIFI?

Реакция очень долгожданная.

Answer 1

Да, это возможно в Флинка и Бурях (без подсказки о Samza или НЕМ ...)

Вы можете добавить стольких операторов источников, как вы хотите, и каждый из них может потреблять от другого источника.

StreamExecutionEnvironment see = StreamExecutionEnvironment.getExecutionEnvironment(); 

Properties properties = ... // see Flink webpage for more details  

DataStream<String> stream1 = env.addSource(new FlinkKafkaConsumer08<>("topic", new SimpleStringSchema(), properties);) 
DataStream<String> stream2 = env.readTextFile("/tmp/myFile.txt"); 

DataStream<String> allStreams = stream1.union(stream2); 

Для шторма, использующего API низкого уровня, шаблон аналогичен. См. An Apache Storm bolt receive multiple input tuples from different spout/bolt