kafka-consumer-api

0зной

3ответ

Kafka высокопоставленный потребитель: могут ли разделы иметь несколько потоков, потребляющих его?

Могут ли сообщения из заданного раздела делиться на несколько потоков? Предположим, что у меня есть один раздел и сто процессов со 100 потоками в каждом - будут ли сообщения из моего одного раздела пе

-1зной

1ответ

Я хочу знать, когда значение startOffsetTime является kafka.api.OffsetRequest.EarliestTime(). Значение смещения - это что?

Когда я установил startOffsetTime=kafka.api.OffsetRequest.LatestTime(), значение offset`s является самым большим доступным. Когда установлено startOffsetTime is kafka.api.OffsetRequest.EarliestTime(),

1зной

1ответ

при использовании сообщения от kafka, обычно с идентификатором группы. Но SimpleConsumer просто использует имя клиента. Имя клиента - это идентификатор группы?

при использовании сообщения от kafka, обычно с идентификатором группы. Но API SimpleConsumer просто использует имя клиента. Имя клиента - это идентификатор группы?

0зной

1ответ

Использует ли потребитель высокого уровня новое управление смещением в Kafka 0.8.2?

В 0.8.2, похоже, что для выполнения смещений больше нет тех же проблем с производительностью, с которыми он пользовался (http://blog.confluent.io/2014/12/02/whats-coming-in-apache-kafka-0-8-2/). Испол

10зной

1ответ

Does commitOffsets на высокоуровневом блоке потребителей?

В Java-клиенте (http://kafka.apache.org/documentation.html#highlevelconsumerapi) выполняет commitOffsets на потребительском блоке высокого уровня до тех пор, пока смещения не будут успешно совершены и

3зной

1ответ

Apache Kafka бросает моих производителей и потребителей

У меня есть основная непредсказуемая проблема с Apache Kafka. Я использую Kafka 0.8, и через пару часов работы он начинает отбрасывать мои приложения. Специально производитель. Поведение непредсказуем

3зной

1ответ

Как обеспечить распределенную обработку и высокую доступность одновременно в Kafka?

У меня есть тема, состоящая из n разделов. Чтобы распределенная обработка создала два процесса на разных машинах. Они подписываются на тему с одинаковым идентификатором groupd и выделяют n/2 потока, к

0зной

1ответ

Кафки потреблять только новые сообщения

Моей искры потоковой работы потребляющих данных от Кафки KafkaUtils.createStream(jssc, prop.getProperty(Config.ZOOKEEPER_QUORUM), prop.getProperty(Config.KAFKA_CONSUMER_GROUP), topicMap);