Как использовать свечу mllib в веб-проекте

Question

Я пытаюсь использовать искру mllib.jar в веб-проекте. Я скачал spark-1.1.0-bin-hadoop2.4 и распаковал. Есть некоторые банки найти следующим образом:

DataNucleus-апи-JDI-3.2.1.jar

DataNucleus одножильных-3.2.2.jar

DataNucleus-РСУБД 3.2.1. банка

искрового сборочно-1.1.0-hadoop2.4.0.jar

искровых примеры-1.1.0-hadoop2.4.0.jar

Затем я использую spark-assembly-1.1.0-hadoop2.4.0.jar для импорта методов классификации. Его можно успешно запустить в проекте java. Однако, когда я добавляю баночку SomeWebProject/web-inf/lib, получается сообщения об ошибках:

validateJarFile ...\web-inf\lib\spark-assembly-1.1.0-hadoop2.4.0.jar jar not loaded. offending class:javax/servlet/servlet.class 

Я знаю это, потому что мой веб-проект класса javax.servlet дублируется с искровой баночкой. Я пытаюсь удалить искру javax.servlet. Он все еще не работает.

Не могли бы вы сказать мне, как понять это

и

Могу ли я использовать другой искровой банку запустить mllib в локальном режиме. Эта банка слишком большая, и она составляет около 132 mb, и я думаю, что некоторые из них бесполезны. Но я не могу найти другие доступные банки. Является ли этот банку единственным способом импорта spark-mllib.jar? стр. По некоторым причинам я не могу развернуть искру на своих серверах. Так что я не мог использовать среду hadoop

Спасибо большое!

Answer 1

Если вы можете использовать Maven, то просто добавьте эти зависимости в вашем pom.xml:

<dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-core_2.11</artifactId> 
     <version>1.3.0</version> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-mllib_2.11</artifactId> 
     <version>1.3.0</version> 
    </dependency>