apache-kafka

1зной

3ответ

Я использую Spring Cloud Stream и хочу программно создавать и связывать каналы. Мой вариант использования заключается в том, что во время запуска приложения я получаю динамический список тем Kafka для

1зной

1ответ

Kafka max.request.size против buffer.memory против send.buffer.bytes

Я пытаюсь настроить своего продюсера Kafka и перейдя по документации, я пытаюсь понять лучшую корреляцию между разными значениями. Из чего я понимаю, эти значения должны соответствовать следующему пра

0зной

4ответ

Apache Kafka Заказ поставки

Предположим, что у меня есть производитель Kafka. Мой потребитель сначала пишет сообщение M1 в тему T1 на Kafka (через sync api), затем записывает сообщение M2 в тему T2. В то время потребитель прослу

0зной

1ответ

Как получить текущее смещение в Kafka 0.10.x без оболочки?

Есть ли способ получить текущее смещение в Kafka 0.10.x? Я не хочу использовать команды оболочки. Когда я использую API consumer.endOffsets(...), я могу получить последние смещения (logSize). Однако c

0зной

2ответ

Как получить смещение потребителя Кафки?

Работа с Kafka (v2.11-0.10.1.0) -spark-streaming (v-2.0.1-bin-hadoop2.7). У меня есть Kafka Producer и Spark-streaming потребитель для производства и потребления. Все работает нормально, пока я не ост

0зной

2ответ

Как присоединиться к двум потокам Кафки, каждый из которых имеет несколько париваний?

У меня есть два потока Kafka, request и event, каждый из которых разбит на общее поле requestId (последние две цифры). Я хочу присоединиться к потокам и написать HDFS или местным filesystem? Как напис

0зной

2ответ

Turnoff Kafka, Scala Logging

Как отключить следующий журнал? INFO [main] (Logging.scala:68) - pnsender-pc_TT11015507S-1484737874302-c6f061bf-0 attempting to claim partition 3 INFO [main] (Logging.scala:68) - pnsender-pc_TT110155

0зной

1ответ

Kafka-Connect: создание нового соединителя в распределенном режиме создает новую группу

В настоящее время я работаю с платформой confluent 3.0.1. Я пытаюсь создать 2 разъема на двух разных рабочих, но попытка создать новый соединитель создает для него новую группу. Two connectors were cr

3зной

1ответ

Портирование приложения от Kafka 0.8.2.1 до Kafka 0.9.0. Чтение смещений выпуск

у нас возникла проблема, связанная с переносом кода нашего приложения с версии 0.8.2.1 до 0.9.0.0 от Apache Kafka. Мы имеем в виду, в данном случае, до версии Кафки выпущен Cloudera: kafka_2.10-0.8.2.

0зной

1ответ

Одна проблема с несколькими потребителями вызывает потенциальную проблему с потоком?

У меня есть служба REST, давайте позвоним ей MDD, в которой есть один потребитель кафки. Когда я ПЕРВЫЙ запускаю службу отдыха, другая служба сообщает потребителю MDD о подписке на определенную тему,