Удалить Jars из пути класса Spark

Question

Я использую ElasticSearch Spark Jar. Но по какой-то причине, когда я начинаю мой sparkcontext, он также поднимает эластичный улей банку с

/usr/lib/hive/lib/elasticsearch-hadoop-hive-2.1.0.jar

Это вызывает проблемы с эластикой, когда два конфликта.

Кто-нибудь знает, как эта Джар попадает в Искра и как я могу удалить ее из искрового класса, прежде чем начать контекст?

спасибо.

Answer 1

Оказывается, это конфигурация по умолчанию в conf/spark-env.sh, которая загружает этот каталог. Это легко решить, загрузив другую папку с необходимыми банками, а не те, которые вам не нужны. Таким образом, вместо этого:

SPARK_DIST_CLASSPATH = "$ SPARK_DIST_CLASSPATH:/USR/Библиотека/улей/Библиотека/*"

Это будет работать:

SPARK_DIST_CLASSPATH = "$ SPARK_DIST_CLASSPATH:/USR/Библиотека/hive/lib/spark/* "

Предполагая, что вы скопировали соответствующие банки в эту папку