kafka-consumer-api

12зной

4ответ

Как сохранить последнее смещение, которое Spark потребляет ZK или Kafka и может прочитать после перезагрузки

Я использую Kafka 0.8.2 для получения данных от AdExchange, затем я использую Spark Streaming 1.4.1 для хранения данных до MongoDB. Моя проблема в том, что я перезапускаю свой Spark Streaming Работа,

apache-spark apache-kafka spark-streaming kafka-consumer-api 2015-08-06

---

2зной

2ответ

Kafka Broker Authentication - Производитель и потребитель

Мы реализуем решение для обмена сообщениями с использованием Kafka (версия 0.8.2). Все в порядке, кроме обеспечения безопасности для Kafka Broker. Похоже, что кто-нибудь, кто знал, что хозяин и порт к

apache-kafka kafka-consumer-api 2015-08-26

---

3зной

1ответ

как получить доступ и совершить смещения на тему __consumer_offsets темы kafka?

По Кафке Docs Когда менеджер смещения получает OffsetCommitRequest, он добавляет запрос на специальную уплотненный Кафка тему назвала __consumer_offsets возможно мы можем получить доступ к нему непоср

java offset apache-kafka producer-consumer kafka-consumer-api 2015-08-27

---

1зной

1ответ

rdkafka потребительский запрос о размере раздела

Предположим, у меня нет доступа к множеству производителей, которые совершают на раздел интересов, но просто имеют контроль над кучей потребителей C++. Поскольку я выполняю тесты по сложной программе,

c++ logging apache-kafka producer-consumer kafka-consumer-api 2015-08-28

---

1зной

1ответ

DSE Spark Streaming + Kafka NoSuchMethodError

Я пытаюсь представить искрообразование + кафка, которое просто читает строки строки из темы кафки. Тем не менее, я получаю следующее исключение 15/07/24 22:39:45 ОШИБКА TaskSetManager: Задача 0 на эта

apache-kafka cassandra-2.0 kafka-consumer-api 2015-07-25

---

0зной

1ответ

Потяните сообщения от Kafka до двух мест назначения

Я получаю сообщения kafka и вставляю их в hdfs. Я хотел бы иметь возможность выводить один и тот же набор сообщений с помощью инструмента BI. Есть ли все-таки сделать это? Нужно ли мне создавать 2 пот

apache-kafka kafka-consumer-api 2015-07-29

---

3зной

1ответ

Kafka: Как получить последнее измененное время для темы, то есть последнее сообщение добавлено в любой раздел раздела

Наш прецедент - удалить устаревшие/неиспользуемые темы из kafka, т. Е. Если тема (на всех разделах) не имеет новое сообщение за последние 7 дней, то мы будем считать его устаревшим/неиспользуемым и уд

apache-kafka kafka-consumer-api 2015-07-30

---