Необходимая искровая сборка-1.5.2.-hadoop2.7.jar для Spark -Oozie workflow на HDP 2.3.2

Я пытаюсь запланировать искработку 1.5.2 на oozie 4.2.0 (HDP 2.3.x). Spark 1.5.2 был установлен снаружи, я не использую версию искробезопасности по умолчанию, предоставляемую hortonworks. Я имею в виду следующую должность, чтобы установить это.Необходимая искровая сборка-1.5.2.-hadoop2.7.jar для Spark -Oozie workflow на HDP 2.3.2

https://community.hortonworks.com/questions/7014/oozie-sparkaction-throwing-javalangnosuchmethoderr.html

Я изо всех сил, чтобы найти ниже банки.

-spark-сборочные-1.5.2.2.3.4.0-3485-hadoop2.7.1.2.3.4.0-3485.jar

-spark-примеры-1.5.2.2.3.4.0-3485-hadoop2 .7.1.2.3.4.0-3485.jar

Если вы можете помочь мне с некоторыми указателями, чтобы найти/загрузить выше банок, это будет отличная помощь для начала работы.

источник

2016-08-04 nilesh1212

Вы проверили в свече Lib пути

/usr/hdp/current/spark-client/lib

Вы можете найти

[[email protected] lib]$ ls 
datanucleus-api-jdo-3.2.6.jar datanucleus-rdbms-3.2.9.jar    spark-assembly-1.6.1.2.4.2.0-258-hadoop2.7.1.2.4.2.0-258.jar spark-hdp-assembly.jar 
datanucleus-core-3.2.10.jar spark-1.6.1.2.4.2.0-258-yarn-shuffle.jar spark-examples-1.6.1.2.4.2.0-258-hadoop2.7.1.2.4.2.0-258.jar 
[[email protected] lib]$

Затем скопируйте необходимые LIBS в свои процессы Lib

eg: hadoop fs -put /usr/hdp/current/spark-client/lib/* YOUR_WORKFLOW/lib

источник

2016-08-05 04:16:41

Ram, как упоминалось, мы не используя Spark, который поставляется с HDP. Причина в том, что Spark, который поставляется с HDP, - версия 1.4.x, нам нужна искра 1.5.2, поэтому мы установили искру 1.5.2 снаружи и используя искру 1.5.2 на пряжу и HDFS. Но изо всех сил пытаюсь запланировать искру на инете. Чтобы сделать искру 1.5.2. Работа с oozie мне нужна парковая сборка-1.5.2.-hadoop2.7.jar. Если вы используете Spark 1.5.2 с oozie, можете ли вы поделиться сборкой. – nilesh1212

'wget http: // d3kbcqa49mib13.cloudfront.net/spark-1.5.2-bin-hadoop2.6.tgz' ' tar -xvf spark-1.5.2-bin-hadoop2.6.tgz' 'cd spark -1.5.2-bin-hadoop2.6/lib' '[ram @ IP lib] $ ls datanucleus-api-jdo-3.2.6.jar datanucleus-core-3.2.10.jar datanucleus-rdbms-3.2. 9.jar spark-1.5.2-пряжа-shuffle.jar искрообразование-1.5.2-hadoop2.6.0.jar spark-examples-1.5.2-hadoop2.6.0.jar [ram @ IP lib] $ ' Затем скопируйте необходимые LIBS в свои процессы Lib 'например: Hadoop фс -Положите/USR/HDP/ток/искровым клиент/Lib/* YOUR_WORKFLOW/lib' Затем изменить в job.properties ' oozie.use. system.libpath = false' –

У меня есть сборная банка на 1.5. 2 Hadoop 2.6 мне нужен Spark 1.5.2 с hadoop 2.7 – nilesh1212

Необходимая искровая сборка-1.5.2.-hadoop2.7.jar для Spark -Oozie workflow на HDP 2.3.2

ответ

Смежные вопросы