apache-kafka

2зной

1ответ

Возможно ли с Kafka подключиться к ElasticSearch

Я получаю события, которые попадают в Кафку. Из этих событий я беру идентификатор с помощью приложения Kafka Streams и отправляю его обратно в Kafka как пару (id, 1) в другой теме. Затем я хотел бы уз

1зной

1ответ

Как отправить список объектов с помощью avro & kafka

Я пытаюсь отправить список объектов с помощью Avro & Kafka, моя основная проблема заключается в том, что размер моего списка может часто меняться, поэтому я не знаю, как построить динамическая схема A

0зной

1ответ

Создание JavaPairRDD с использованием KafkaUtils.createRDD (искра и кафка)

Я пишу пакетное задание, чтобы воспроизвести события из Кафки. Кафка v. 0.10.1.0 и искра 1.6. Я пытаюсь использовать JavaPairRDD javaPairRDD = KafkaUtils.createRDD (...) вызов: Properties configProper

0зной

1ответ

Что такое использование «spark.streaming.blockInterval» в Спарк Streaming DirectAPI

Я хочу, чтобы понять, какую роль играет в "spark.streaming.blockInterval" Спарк Streaming DirectAPI, согласно моему пониманию "spark.streaming.blockInterval" используется для расчета разделов т.е. #pa

3зной

1ответ

Как обрабатываются разделы Spark RDD, если нет. исполнителей <no. раздела RDD

Я хочу понять основную вещь в искрообразовании. У меня 50 тематических разделов Kafka и 5 номеров исполнителей, я использую DirectAPI, так что нет. разделов RDD будет 50. Как этот раздел будет обработ

0зной

1ответ

Programatically (JAVA) Создание/удаление раздела из Кафки Темы

По требованию выполнения, я могу программно (с помощью Java) Создания/удаления раздела из Кафки Темы Я использую клиентый Java Apache Кафки (0.10) и установку Apache Кафки (0.10)

0зной

1ответ

Ошибка при запуске Кафки

У меня есть Zookeeper демоны, работающие на соответствующих узлах и пытаюсь запустить Кафка брокер, но получаю следующее сообщение об ошибке: FATAL [Kafka Server 13], Fatal error during KafkaServer st

0зной

1ответ

Динамическое обновление размера партии ввода для искры kafka потребитель

Я использую createDirectStream в своем искрообразовании. Я установил интервал между партиями до 7 секунд, и большую часть времени пакетное задание можно завершить в течение примерно 5 секунд. Однако в