kafka-consumer-api

2зной

1ответ

Как сообщить потребителю, что Продюсер завершил отправку всех сообщений Брокеру?

1: Мы работаем над обработкой в реальном времени или пакетной обработкой с использованием Spark Streaming. Наш нынешний дизайн включает Kafka. 2: каждые 15 минут Продюсер отправляет сообщения. 3: Мы

0зной

1ответ

Объясните отличия артефакта Maven: kafka-client, kafka_2.11- <kafkserver-version>, scalatest-embedded-kafka_2.11.

Просьба пояснить различия в артефакте maven и когда использовать что? для kafka-client, kafka_2.11-, scalatest-embedded-kafka_2.11. Используется ли что-нибудь специально для написания модульных тестов

2зной

1ответ

Получение и обновление настроек конфигурации Kafka через API Java

Я пишу приложение для выполнения кучи операций по теме kafka через API Java. Я могу создать тему и добавить разделы. Мне нужна помощь в получении метаданных темы (например, разделов, брокеров) и конфи

0зной

1ответ

Apache Kafka: Можем ли мы ограничивать чтение сообщения только одним потребителем?

Я новичок в Kafka и сценарий, который я пытаюсь достичь с помощью Apache Kafka: У меня есть 3 производителя, которые отправляют инструкции по определенной теме в Kafka. У меня около 35 потребителей, к

1зной

1ответ

Потребителю Kafka необходимо знать все сообщения, полученные из темы

Нам нужно отсортировать использованные записи в искровой потоке потребительской части kafka. Можно ли узнать, что все опубликованные записи потребляются потребителем кафки?

0зной

3ответ

Новое в Scala и apache flink, почему моя функция карты работает правильно REPL, но не работает в Flink

Я пытаюсь (безуспешно) запускать простую программу приветствия мирового уровня в Apache Flink. Код принимает сообщение от Apache Kafka добавляет «.». после каждой буквы и печатает новую строку в stdou

0зной

2ответ

Kafka Consumer poll() возвращает пустой набор при использовании внутри цикла while

У меня есть базовая реализация потребителя Kafka. У меня он работает правильно, когда он вызывает метод при нажатии кнопки (назовем это V1). Но как только я помещаю метод poll() внутри while петли (да

4зной

3ответ

Объект не serializable (org.apache.kafka.clients.consumer.ConsumerRecord) в Java spark kafka streaming

Я уверен, что я нажимаю только строки данных и десериализую также как String. Запись, которую я нажал, также отображается с ошибкой. Но почему внезапно появляется такой тип ошибок, есть ли что-нибудь,