rdkafka потребительский запрос о размере раздела

Question

Предположим, у меня нет доступа к множеству производителей, которые совершают на раздел интересов, но просто имеют контроль над кучей потребителей C++. Поскольку я выполняю тесты по сложной программе, я хотел бы узнать разницу между смещением, которое получат мои потребители, и суммарным смещением, хранящимся в разделе.

например, >> reading message #1234 of 5678 total in partition 0 of topic foo

я неправильно цель RdKafka::Consumer->outq_len() и RdKafka::Topic->OFFSET_END, потому что они кажутся всегда равна 0 и -1, соответственно.

Как я могу получить значение 5678 моего примера?

Answer 1

Чтобы получить представление о запасе вашего потребителя, вам необходимо подписаться на статистику librdkafka. Зарегистрировать класс Event обратного вызова и называют poll() регулярно входят в вашей ручке, проверьте EVENT_STATS, а затем разобрать соответствующий JSON сообщение и искать lo_offset, hi_offset и consumer_lag.