Как получить/прочитать данные кафки из флинка?

Question

Я пытаюсь читать данные кафки из флинка, и поскольку я новичок в kafka и flink, я не знаю, как их соединить.

Answer 1

Flink обеспечивает разъем Kafka. Чтобы читать данные из тем Kafka, сначала вам нужно добавить зависимость коннектора Flink-Kafka.

<dependency> 
    <groupId>org.apache.flink</groupId> 
    <artifactId>flink-connector-kafka-0.8_2.10</artifactId> 
    <version>1.1.3</version> 
</dependency> 

Далее вы просто вызываете среду выполнения потоковой передачи и добавляете источник Кафки. Вот пример

Properties properties = new Properties(); 
properties.setProperty("bootstrap.servers", "localhost:9092"); 
properties.setProperty("zookeeper.connect", "localhost:2181"); 
properties.setProperty("group.id", "test"); 
DataStream<String> stream = env 
.addSource(new FlinkKafkaConsumer08<>("topic", new SimpleStringSchema(),properties)) 
.print(); 

Всё. Вы все намерены использовать данные из темы Кафки.

Полный код доступен для скачивания link