Конфигурация Mesos с существующим автономным кластером Apche-Spark

Question

Я новичок в Apache-spark! У меня установлен автономный кластер Spark с использованием 4 ПК. Я хочу использовать Mesos с существующим автономным кластером Spark. Но я прочитал, что мне нужно сначала установить Mesos, а затем настроить искру.

Я также видел Документацию Искры на настройку с помощью Mesos, но это не полезно для меня.

Как настроить Mesos с существующим искровым автономным кластером?

Answer 1

Mesos - это альтернативный менеджер кластера для автономного оператора Spark. Вы не используете его, вы используете его вместо.

• создать Mesos кластер следовать https://mesos.apache.org/gettingstarted/
• убедитесь, распространять Mesos родную библиотеки доступен на компьютере, который используется для отправки заданий
• для кластерного режима запуска Mesos диспетчера (sbin/start-mesos-dispatcher.sh).
• отправить заявку, используя основной URI Mesos (режим клиента) или URI диспетчера (режим кластера).