Как сохранить порядок сообщений в Kafka?

Question

У нас есть требование слоя сообщения, и мы хотим, чтобы порядок сообщений сохранялся до тех пор, пока он не будет потреблен потребителем. Мы изучаем Кафку за то же самое. Я понимаю, что Kafka не гарантирует упорядочение по разделам, но внутри раздела он поддерживает порядок.

Я думал, что каким-то образом мы можем удостовериться, что конкретный производитель (с определенными атрибутами значения ключа) публикует свои сообщения в определенном разделе p1 для темы t1, и если мы сможем убедиться, что пользователь получает сообщения из одного раздела p1. это будет служить нашей цели.

В kafka-console-producer.sh помощь, я вижу ниже:

--producer-property <producer_prop>  A mechanism to pass user-defined 
              properties in the form key=value to 
              the producer. 
--producer.config <config file>   Producer config properties file. Note 
              that [producer-property] takes 
              precedence over this config. 
--property <prop>      A mechanism to pass user-defined 
              properties in the form key=value to 
              the message reader. This allows 
              custom configuration for a user- 
              defined message reader. 

Можем ли мы контролировать раздел, где производитель будет писать на, используя этот --property вариант?

Также у потребителя высокого уровня мы можем контролировать, из какого раздела он будет потреблять? Как раздел присваивается потребителю?

Answer 1

Kafka предоставляет только полный заказ по сообщениям в разделе, а не между различными разделами в теме.

Если у вас есть тема с одним разделом, заказ гарантирован. Если ваш потребитель работает хорошо, вам не нужно беспокоиться.

Предполагая, что у вас есть хотя бы Kafka 0.9, каждому потребителю назначается раздел при регистрации у брокера. Если у вас есть одна тема с 2 разделами и двумя пользователями, каждому будет назначен один раздел. Эта информация хранится в ConsumerPartitionOwnershipInfo см. the design docs for more details. Каждому разделу в теме присваивается ровно один член в группе потребителей.

Поведение потребителей и изменения в 0,9 хорошо объясняются here.