Улей на искры: Отсутствует <искрообразование * .jar>

Я запускаю Hive 2.1.1, Spark 2.1.0 и Hadoop 2.7.3.Улей на искры: Отсутствует <искрообразование * .jar>

Я пытался построить Спарк после Hive on Spark: Getting Started:

./dev/make-distribution.sh --name "hadoop2-без улей" --tgz «-Pyarn, Hadoop, предоставленный, Hadoop-2,7, паркет, предоставленный»

Однако, я не мог найти какие-либо искровую сборочные файлы фляга под каталогом свечи (find . -name "spark-assembly*.jar" возвращает ничего обратно). Вместо того, чтобы связывать блок искровой сборки с HIVE_HOME/lib, я попробовал export SPARK_HOME=/home/user/spark.

я получаю следующее сообщение об ошибке в улей Билайна:

0: jdbc:hive2://localhost:10000> set hive.execution.engine=spark; 
0: jdbc:hive2://localhost:10000> insert into test (id, name) values (1, 'test1'); 
Error: Error running query: java.lang.NoClassDefFoundError: scala/collection/Iterable (state=,code=0)

Я думаю, что ошибка вызвана отсутствием искрового сборки банки.

Как я могу построить/Где я могу найти эти файлы с искровыми сборками?

Как я могу исправить вышеуказанную ошибку?

Спасибо!

источник

2017-02-21 Top.Deck

Вы можете попробовать 'sudo find/-name', чтобы выполнить поиск по всей системе –

Я верю из ** Искра 2.x ** далее' spark-assembly.jar' не требуется. – mrsrinivas

@mrsrinivas Тогда как я могу связать искру с улей? Не возражаете, если я поместил ваш комментарий в вопрос? –

Да, они не строят искр-assembly.jar файл от искры 2.0.0 и далее. Независимые небольшие файлы jar доступны в каталоге jars.

https://issues.apache.org/jira/browse/SPARK-11157

https://issues.apache.org/jira/secure/attachment/12767129/no-assemblies.pdf

источник

2017-02-22 05:37:00 Madhu

Я использую Hive 2.1.0, хотя нет сборщика jar-файла. Проблема, которую он сказал, все еще проявляется. Я думаю, это версия Spark – CodeFarmer

находкой. -iname '* искра *

не найдет вам любой связанные искры баночку

Однако, я использую Hive 2.1.0 через варку установить на макинтош. Проблема еще.

Посмотрите

Hive on Spark: Getting Started

источник

2017-04-12 06:03:53 CodeFarmer

Прежде всего, искра не будет строить spark-assembly.jar от 2.0.0, но строить все банки с зависимостями в каталог $SPARK_HOME/jars

Кроме того, улей не поддерживает каждый версия Spark, на самом деле у нее есть сильные ограничения совместимости версий для запуска Hive on Spark. В зависимости от того, какую версию Hive вы используете, вы всегда можете найти соответствующую версию Spark в файле pom.xml файла Hive. Для Hive 2.1.1, то spark version specified in pom.xml является:

<spark.version>1.6.0</spark.version>

Как вы уже знаете, что вам нужно построить искру без улья поддержки.Я не знаю, почему, но команда в Hive on Spark - Getting Started не работает для меня, наконец, мне удалось с помощью следующей команды:

mvn -Pyarn -Phadoop-2.6 -Dscala-2.11 -DskipTests clean package

И несколько советов по устранению неисправностей, которые я встречал раньше (Надеюсь, вы не собираетесь встретить) :

Запуск Спарк Master не удался из-за не удались найти slf4f или классы, связанные с Hadoop, запустите export SPARK_DIST_CLASSPATH=$(hadoop classpath) и повторите попытку
не удался загрузить мгновенную родные LIBS, что связанно с тем, что нет мгновенной зависимости в пути к классам, или snappy lib под wayopop classpath не является правильной версией f или искры. Вы можете скачать правильную версию snappy lib и поместить ее под $SPARK_HOME/lib/ и запустить export SPARK_DIST_CLASSPATH=$SPARK_HOME/lib/*:$(hadoop classpath) и повторите попытку.

Надеюсь, это может быть полезно, и все будет хорошо для вас.

источник

2017-04-12 06:55:44 shizhz

Улей на искры: Отсутствует <искрообразование * .jar>

ответ

Смежные вопросы