Рекомендации по обработке обработки событий

Question

Я новичок в области обработки событий. Я смотрю на платформу обработки событий на основе Java для своих требований. Я прошел через документацию и учебный лабиринт на платформах Myriad - Apache Storm, apache Kafka, а также традиционные брокеры событий, такие как RabbitMQ. Я не мудрее.

Мои требования следующие. У меня есть источник событий (например, отслеживание использования), которые меня толкают. Я хочу сделать следующие вещи с ними:

1. Bucketing (Разделить их в разные ведра, например, клиентом)
2. Вставьте весь bucketed событие как партии в базу данных.
3. Выполнение какого-либо определения приоритетности нагрузки/события, например. не хотят, чтобы клиент с низким приоритетом нажимал огромную цифру. событий, голодающих высокоприоритетным клиентом с несколькими событиями.

Я не забочусь слишком много об упорядочении событий, но я хотел бы, чтобы обеспечить высокую доступность этих систем.

Выбирайте несколько указателей для начала. Технологической инфраструктурой нет бара, но что-то на основе Java.

Answer 1

Есть большие рамки для ведения реального времени распределенной обработки данных:

• Storm
• Spark Streaming (микро-дозирование)
• Samza
• Flink

В вашем случае , Я думаю, что выбор одной из этих ike принимая кувалду, чтобы взломать орех. Вам необходимо будет развернуть кластер и управлять им с помощью главных и подчиненных узлов в дополнение к кластеру Kafka.

Чтобы ваша архитектура была простой, масштабируемой и доступной, вы должны взглянуть на KafkaStreams. KafkaStreams - это новый Java API (доступный с kafka 0.10) для выполнения вычислений в режиме реального времени по темам kafka.

Приложение KafkaStreams - это простое приложение для Java, поэтому вы можете встроить задание в существующее приложение.

Кроме того, задания Kafka Streams могут быть развернуты с помощью простой команды: java -jar.