apache-kafka

0зной

1ответ

Я ожидаю, что наш приток составит Kafka, чтобы поднять до 2 TB/day в течение определенного периода времени. Я планирую установить кластер Kafka с 2 brokers (каждый работает в отдельной системе). Каков

0зной

1ответ

Logstash ожидать # что неправильно

я хочу отправить данные из Кафка тему «тест» на elasticsearch индекс «твиттер» через logstash но мой confing не работают ошибка является причина => "Ожидалось один из #, => в строке 1, столбец 101 (ба

1зной

1ответ

Экспорт Kafka Тема для MySql

Часто для целей отладки я хотел бы анализировать/проверять сообщения в теме Kafka. Я считаю, что мы можем писать коннекторы для экспорта данных из тем Kafka в MySql DB. Прежде чем погрузиться глубоко

-1зной

1ответ

UpdateStateByKey on JSON Данные от Kafka in Spark

Я читаю данные JSON от kafka в spark.Tata имеет начальные и конечные теги, чтобы показать начало и конец транзакции. JSON Данные ` { "accountId": 1, "name": "start"}, { "accountId": 1, "name": "A gre

1зной

2ответ

Отправка в Kafka из искрового задания, занимающего слишком много времени

У меня есть работа с искровым потоком, которая потребляет данные от kafka и отправляет обратно в kafka после выполнения некоторого процесса по каждому из данных. Для этого я делаю некоторые операции н

3зной

1ответ

Spark Streaming аварийно завершает работу с Kafka Ran из сообщений до достижения исключения в конце исключения

В одном из наших потоковых usecase; одно из наших сенсорных программ отправляет 5 сообщений ~ 20 МБ JSON/Sec в тему Кафки с 50 разделами, когда искровой поток пытается читать сообщения от Kafka, он па