Scala 2.11 Spark 2.0 hortonworks-spark/shc sbt assembly

Question

Я пытаюсь собрать приложение Scala 2.11 Spark 2.0 с использованием hortonworks-spark/shc для доступа к hbase.

Набор зависимостей выглядит просто:

libraryDependencies ++= Seq(
    "org.apache.spark" %% "spark-core" % "2.0.2" % "provided", 
    "com.hortonworks" % "shc-core" % "1.0.1-2.0-s_2.11" 
) 

Проблема возникает, когда я пытаюсь сборки приложения в баночку жира, потому что есть много зависимостей невозвратности с другой версией, то сборка плагин бросить дубликат ошибки. Один из примеров:

deduplicate: different file contents found in the following: 
[error] /home/search/.ivy2/cache/org.mortbay.jetty/jsp-2.1/jars/jsp-2.1-6.1.14.jar:org/apache/jasper/xmlparser/XMLString.class 
[error] /home/search/.ivy2/cache/tomcat/jasper-compiler/jars/jasper-compiler-5.5.23.jar:org/apache/jasper/xmlparser/XMLString.class 

Кроме того, я не знаю, если это право включать в зависимости баночки, как org.apache.hbase: HBase-сервер: 1.1.2

Таким образом, в основном, вопрос : Кто-нибудь знает правильный способ сборки приложения Scala Spark с использованием этой библиотеки и sbt и может предоставить пример? (А может быть, добавить его в документации hortonworks-spark/shc

Примечание: hortonworks-spark/shc не включают в spark-packages поэтому я не могу использовать --packages вариант, если это не с локальной копией баночки я использую ЭМИ, так. У меня нет предварительно сконфигурированного кластера, где скопируйте банку, не добавляя больше сложностей в развертывание.

Answer 1

Вы должны указать mergeStrategy, упомянутую в Readme. И вы можете предоставить общие библиотеки на искровых узлах, а не включать их в fat.jar каждый время. Для этого необходимо загрузить их на каждого работника и добавить в classpath.

Answer 2

Как вы c см. jasper-xmlparser используется двумя разными банками. Итак, дубликат. Вы можете исключить ссылку от одного из них, как следует

Например: libraryDependencies + = "org.apache.hbase" % "HBase-сервер" % "0.98.12-hadoop2" excludeAll ExclusionRule (организация = «орг .mortbay.jetty ")

И относительно добавления всех зависимостей в жировую банку, по крайней мере, для искровых приложений, то есть предлагаемый способ обработки сборки банки. Наиболее распространенные банки (например, искра, hbase и т. Д.) Могут быть сделаны частью пути класса на краевом узле или в любом из когда-либо выполняемых узлов. Любые другие конкретные банки могут быть частью uber jar. Вы можете сделать банки искры/hbase, как предусмотрено.

Ну, в основном, следующие действия помогут вам выполнить основные операции.

libraryDependencies += "org.apache.hbase" % "hbase-client" % "0.98.12-hadoop2" // % "provided" 
libraryDependencies += "org.apache.hbase" % "hbase-common" % "0.98.12-hadoop2" //% "provided" 
libraryDependencies += "org.apache.hbase" % "hbase-server" % "0.98.12-hadoop2" excludeAll ExclusionRule(organization = "org.mortbay.jetty") 

Answer 3

Вы должны предоставить mergeStrategy в build.sbt,

Это выглядит примерно так,

assemblyMergeStrategy in assembly := { 
    case PathList("META-INF", xs @ _*) => MergeStrategy.discard 
    case "reference.conf" => MergeStrategy.concat 
    case x => MergeStrategy.first 
} 

В этом примере я указал MergeStrategy.first. Есть несколько других вариантов, как MergeStrategy.last и MergeStrategy.concat

MergeStrategy.first означает, что он будет выбрать первую банку он видит для данной зависимости, чтобы создать убер банку.

Для некоторых случаев это может не сработать, если это так, попробуйте с MergeStrategy.last также.