Я хочу знать, можно ли запускать kafka в качестве приложения для облачных вычислений, и я могу создать кластер kafka в качестве службы Pivotal Web Services. Мне не нужна только интеграция с клиентами, я хочу запустить кластер/службу kafka?Как использовать кафку и шторм на облачной ограде?
Спасибо, Анил
Я могу указать вам на несколько отправных точек, будет какая-то работа, связанная, чтобы перейти от этих отправных точек на что-то полностью функциональной.
Один из вариантов заключается в развертывании кластера kafka в Cloud Foundry (например, Pivotal Web Services) с использованием изображений докеров. Spotify has Dockerized kafka and kafka-proxy (включая Zookeeper). Одна вещь, о которой следует помнить, заключается в том, что PWS в настоящее время не поддерживает приложения с постоянством (хотя this work is starting), поэтому, если бы вы отправились на этот маршрут прямо сейчас, вы потеряли бы данные в kafka, когда приложение будет свернуто. Глядя на это Spotify repo, похоже, что изображения докеров обычно запускаются без каких-либо смонтированных томов, поэтому эта неуверенность в кафке кажется, что она может быть допустимым прецедентом (я не знаю достаточно о кафке, чтобы сказать).
Другой вариант - развернуть kafka непосредственно на некоторых IaaS (например, AWS) с использованием BOSH. BOSH может быть тяжелым, если вы видите его впервые, но это идеальный способ развертывания любого распределенного программного обеспечения, которое вы хотите запускать на виртуальных машинах. Вы также сможете иметь постоянные тома, подключенные к вашим виртуальным машинам kafka, если это необходимо. Вот kafka BOSH release, который может работать.
После запуска вашего кластера у вас есть два способа интеграции приложений Cloud Foundry с ним. Самое простое - предоставить его вашим приложениям как «user-provided service», что позволяет передавать информацию о доступе к кафке в ваши приложения. Альтернативой было бы поставить сервис-брокер перед вашим кластером, что было бы особенно полезно, если бы у вас было много разных людей, которые будут подталкивать приложения, которым нужно поговорить с кластером kafka. Вместо того, чтобы вам каждый раз вручную сообщать людям информацию о доступе, они могут сделать что-то простое, например cf bind-service SOME_APP YOUR_KAFKA_SERVICE. Вот kafka service broker и more info about service brokers in general.