Запуск задач Hadoop/Storm на марафоне Apache

Question

Недавно я встретил Apache Mesos и успешно развернул мою топологию Storm над Мезосом.

Я хочу попробовать запустить топографию Storm/Hadoop над Apache Marathon (были проблемы с запуском Storm прямо на Apache Mesos, используя фреймворк mesos-storm).

Я не смог найти учебник/статью, в которой можно было бы указать, как запускать задачи Hadoop/Spark из Apache Marathon.

Было бы здорово, если бы кто-нибудь мог предоставить любую помощь или информацию по этой теме (возможно, определение задания Json для Marathon для запуска задания штурма/хауопа).

Большого спасибо

Answer 1

марафон предназначен для длительных услуг, так что вы можете использовать его, чтобы начать свой JobTracker или искровой планировщик, но вы лучше запускать фактические пакетные задания, как Hadoop/Спарк задачи по пакетную структуру, такую ​​как Chronos (https://github.com/airbnb/chronos). Марафон перезапускает задачи при завершении/сбое, тогда как Chronos (распределенный cron с зависимостями) позволяет вам настраивать запланированные задания и сложные рабочие процессы.

Хотя немного устаревший, приведенный ниже учебник дает хороший пример.

http://mesosphere.com/docs/tutorials/etl-pipelines-with-chronos-and-hadoop/

Answer 2

Спасибо за ваш ответ, я пошел вперед и развернуть кластер Storm-докер на Apache Mesos с Marathon. Для обнаружения службы я использовал HAProxy. Эта настройка позволяет службам (nimbus или zookeeper и т. Д.) Разговаривать друг с другом с помощью портов, поэтому, например, добавление нескольких экземпляров для службы не является проблемой, поскольку кластер найдет их с помощью портов и выполнит балансировку запросов между всеми экземпляры службы. Ниже приводится проект GitHub, в котором есть рецепты марафона и изображения Docker: https://github.com/obaidsalikeen/storm-marathon