Как Флинк (источник Кафки) управляет смещениями?

Question

Я использую Flink's FlinkKafkaConsumer09, и я задаюсь вопросом, где хранятся запасные части потребителя kafka?

Я не могу найти их в Zookeeper или в теме смещения Кафки. Также инструмент kafka-consumer-offset не может найти.

Выполняется ли это с помощью Flink?

Answer 1

Флинк не только полагается на отслеживание смещения группы потребителей Kafka, но и отслеживает и контролирует эти смещения внутри.

Флинк потребляет данные из тем Кафки и периодически контрольно-пропускные пункты с использованием распределенного контрольно-измерительного механизма Флинка. В случае сбоя Flink будет восстанавливать записи из каталога контрольных точек и после этого начнет считывать данные со смещения Kafka.

Важно использовать контрольную точку в Flink, чтобы использовать неисправность потребителя Kafka.

Вот как вы можете это сделать.

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); 
env.enableCheckpointing(5000); // checkpoint every 5000 msecs