Я новичок в сверкающей воде. Теперь я запускаю свою программу из сверкающей оболочки. Тем не менее, я не уверен, как создать автономное приложение, которое я могу дать в качестве источника для запроса submit. Какие банки необходимо включить для создания моего приложения?Создание минимального приложения для искристых вод
Проверка sparkling-water examples например. ProstateDemo.scala Как написать автономное приложение для сверкающей воды (создание контекста h2o и т. Д.).
В основном вы need to addsparkling-water-core к вашей зависимости sbt/maven/gradle, скомпилируйте свою банку. У вас есть 2 варианта:
Создайте сборную банку с искрящейся водой в ней. Вот пример, я использую для SBT:
libraryDependencies += "ai.h2o" %% "sparkling-water-core" % "2.0.4" excludeAll(
ExclusionRule(organization = "org.apache.spark"),
ExclusionRule(organization = "org.slf4j"),
ExclusionRule(organization = "com.google.guava"),
ExclusionRule(organization = "org.eclipse.jetty.orbit"),
ExclusionRule(organization = "com.esotericsoftware.kryo"))
Скомпилируйте банку и использовать --jars или --packages аргумент искру представить:
spark-submit --packages ai.h2o:sparkling-water-core_2.11:2.0.4 your_jar.jar
Спасибо огромное! Я дам вам знать, если это сработает. –
Работает! Спасибо. Я также должен был включить libraryDependencies + = "ai.h2o" %% "sparkling-water-repl"% "2.0.4", чтобы запустить приложение. –
Отлично. Я отключил repl в моем проекте с помощью 'spark.ext.h2o.repl.enabled = false' в h2oConf – prudenko
FYI: есть также газированная вода Капля, которая содержит stb Определение:
https://github.com/h2oai/h2o-droplets/blob/master/sparkling-water-droplet/build.sbt
Есть ли новая версия сверкающей капли, в которой используется Spark 2.0 –