Я хочу использовать в Kafka-Stream потребителя для чтения записей из Kafka, есть возможность читать записи за каждый интервал? например, каждые 1 минуту?Как читать записи из Кафки с использованием Kafka-Stream через интервал
Я не уверен, правильно ли я понял ваш вопрос. Тем не менее, я думаю, что существует несколько подходов (в зависимости от того, чего вы действительно хотите достичь, что непонятно из вопроса).
KafkaConsumer, вы можете просто читать сообщения и проверять их временные метки для передачи данных по интервалам
То, что я имею в виду, есть возможность вытащить данные из Кафки каждые 1 минуту (например: в 10:01 читать все записи с 10:00 до 10:01, в 10:02 читать все записи с 10:01 до 10:02 и т. д.) вместо того, чтобы получать новые записи во время выполнения? Я хочу читать данные для обработки каждого заданного интервала вместо хранения данных в памяти до обработки. – user7365161
Для этого нет встроенной поддержки, потому что Kafka основан на pull. Вы должны поместить эту логику в клиент, используя один из предложенных подходов. Если я правильно понимаю, что вы правильно комментируете, вы можете использовать подход (3) в сочетании, чтобы получить текущие смещения конца журнала перед началом опроса(), и только потребительские сообщения к полученным смещениям (чтобы избежать чтения записей, которые добавлены после того, как вы начнете потреблять) –