Потоки Bluemix Kafka

Question

Поддерживает ли последняя версия IBM Message Bus Kafka Streams (описано здесь .. http://www.confluent.io/blog/introducing-kafka-streams-stream-processing-made-simple/). Любые примеры/примеры того, как это сделать? Если да, то это может быть сделано с node.js

Что я пытаюсь сделать 1. потоковых данных из исходной базы данных (Cloudant) к потоку Кафок (услуга разъема существует в bluemix - BETA сервис) 2. Совокупные данные (сводки, подсчеты и т. Д.) С использованием потоков Kafka 3. Приложение веб-панели мониторинга (Node.JS, D3.JS) потребляет потоки и обновляет панель мониторинга в реальном времени.

спасибо

Answer 1

Вы можете определенно публиковать и подписаться на Кафка (он же IBM MessageHub) с помощью Node.js и вы можете визуализировать данные Кафки во всех видах приборных панелей. В последнее время я использую Node-Red и как узел-red-dashboard, так и node-red-contrib-web-worldmap с хорошими результатами.

Паб/юг от приложений nodejs может быть выполнен либо через Confluent REST Proxy (который используется IBM MessageHub), либо через собственный клиент node.js, такой как Blizzard, написанный поверх librdkafka (см. https://github.com/blizzard/node-rdkafka). Confluent написал некоторые функции обертки nodejs, чтобы упростить использование прокси-сервера REST (см. https://github.com/confluentinc/kafka-rest-node)

С точки зрения потоков Kafka, основными языками, поддерживаемыми сегодня, являются Java и Scala. Вы можете смешивать узловые клиенты в Javascript с приложениями Streams на Java без проблем. Потоки Kafka реализованы как только Java-библиотека, поэтому ваши потоковые приложения определенно будут запускаться в Bluemix либо на виртуальной машине, либо в контейнере, и им не понадобится дополнительный кластер-менеджер или сторонняя инфраструктура.

UPDATE: IBM объявляет MessageHub теперь поддерживает Кафку Streams

https://developer.ibm.com/messaging/2017/06/28/messagehub-now-runs-kafka-0-10-2-1-supports-streams/