Понимание газированной воды

Question

Я новичок в газированную воду, я хочу задать несколько простых вопросов:

1. делает искрение поддержки воды все алгоритмы, как Спарк MLlib и H2O обеспечивает

2. ли газированная вода сами обеспечивают алгоритмы, которые Spark MLlib и H2O не поддерживают?

3. Если я хочу написать код с чистым Spark MLlib в контексте Sparkling Water, должен ли я использовать H2OContext или API, связанный с игристой водой?

По вышеуказанным 3 вопросам, я думаю, что я хочу понять, как работает Искрящаяся вода. (В настоящее время я знаю не более того, что Sparkling Water приносит Spark и H2O вместе)

Спасибо.

Questions-2017-01-11 

Я могу запустить AirlinesWithWeatherDemo2 пример с run-example.sh успешно, но у меня два вопроса: открыт

1. H2O поток веб-интерфейс во время приложения, запущенного (можно получить через 54321 порта), но когда приложение завершено, процесс, который открывает порт 54321, также отключается (веб-интерфейс уже недоступен), я бы спросил, когда я запускаю пример, какую функциональность предоставляет этот поток пользовательского интерфейса, поскольку он может быть коротким -издание

2. Искрящаяся вода предназначена для интеграции Spark и H2O, когда я представляю пример, мне нужна только сверкающая вода-assembly_2.11-2.0.3-all как аппликатор (он содержит классы классов), Это что, если я хочу запустить H2O-алгоритмы, которые не содержат игристые воды, я должен добавить банки H2O (h2o.jar) в качестве зависимых банок?

Answer 1

1. Да

2. Не на самом деле, мы работаем над оборачивать MLlib алгоритмы искру, так что вы можете запускать их из FlowUI H2O и на оберточной алгоритмы H2O, так что вы можете использовать их в трубопроводах MLlib, хотя ,

3. Вам нужен H2OContext, только если вы хотите использовать функциональные возможности H2O.

Sparkling Water просто позволяет запускать узлы H2O внутри узлов Spark, вместо того, чтобы вручную загружать кластер H2O. Это также позволяет использовать данные как в H2O, так и в Spark.

@Edit:

1. None, но вы, возможно, давно работает Спарк работу, где вы не выходите после выполнения некоторого начального вычисления, но заблокировать работу (и нужно убить его как-то). Затем вы можете использовать FlowUI как обычно. Мы просто запускаем HTTP-сервер каждый раз (даже для демонстраций). Нет причин не делать этого.

2. Вы можете использовать один из капели - https://github.com/h2oai/h2o-droplets/tree/master/sparkling-water-droplet, который является проектом шаблона, вы добавите логику в главном классе и запустить ./gradlew shadowJar и представить банку с spark-submit, он уже содержит все банки. Или, как вы упомянули, вам нужно будет предоставить (хотя --jars или --packages) все необходимые зависимости, включая H2O.jar.