Я ищу простой генератор событий/данных для Kafka-broker для выполнения некоторых тестов производительности для потоковых инструментов платформы Hadoop. Пока ничего не найдено. Он должен иметь возможность отправлять много (в основном равных) сообщений в очень короткий промежуток времени (миллисекунды).Генератор потоков данных для Apache Kafka
Спасибо!
Вы можете использовать инструмент kafka-producer-perf-test.sh, который поставляется вместе с Kafka 0.9+. Он позволяет создавать несколько сообщений определенного размера. Этот инструмент является просто производителем, который позволяет отправлять пакет сообщений и собирать статистику.
В наших тестах производительности мы используем этот инструмент (или наш собственный производитель производительности, но похожий на это), и когда мы хотим увеличить нагрузку, мы параллельно запускаем несколько экземпляров на разные хосты.