Oozie - Спарк Действие> где добавить ojdbc.jar к оракулу доступа JDBC

Question

Я пытаюсь создать искру действий в Oozie для следующей команды:

spark-submit --master yarn --class com.spark.sql.jdbc.SparkDFtoOracle --jars /home/oracle/ojdbc7.jar --driver-class-path /home/oracle/ojdbc7.jar testOracleJdbcDF.jar > tmp 

Это дает N число ошибок в Oozie. Я использовал шаблон workflow.xml из oozie-examples.tar.gz.

Может ли кто-нибудь помочь мне решить проблему?

Answer 1

Существует несколько способов добавления банок зависимости. Я бы создал каталог с именем lib рядом с workflow.xml в HDFS и разместил там банки (ojdbc7.jar). Oozie автоматически сделает эти банки доступными для всех действий в этом рабочем процессе.

workflow.xml

<workflow-app name="sample-wf" xmlns="uri:oozie:workflow:0.1"> 
    <action name="myfirstsparkjob"> 
     <spark xmlns="uri:oozie:spark-action:0.1"> 
      <job-tracker>[JOB-TRACKER]</job-tracker> 
      <name-node>[NAME-NODE]</name-node> 
      <prepare> 
       <delete path="${jobOutput}"/> 
      </prepare> 
      <master>yarn</master> 
      <mode>client<mode> 
      <name>Spark DF to Oracle</name> 
      <class>com.spark.sql.jdbc.SparkDFtoOracle</class> 
      <jar>hdfs/path/to/testOracleJdbcDF.jar</jar> 
      <spark-opts>--driver-class-path path_to-some_other_jar </spark-opts> 
     </spark> 
     <ok to="myotherjob"/> 
     <error to="errorcleanup"/> 
    </action> 
</workflow-app> 

Spark Action Extension in Ozzie

О искру представить:

В вашей искрой представить --driver-class-path не требуется, потому что, как значение такое же, как --jars. check --driver-class-path описание:

Элементы пути дополнительного класса, которые необходимо передать водителю. Обратите внимание, что добавленные jars с --jars автоматически включаются в путь к классам.

Answer 2

Установите Ojdbc7.jar в Maven и добавьте ниже зависимостей в файл pom.xml

<dependency> 
    <groupId>oracle.jdbc.driver</groupId> 
    <artifactId>oraclethin</artifactId> 
    <version>12c</version> 
</dependency> 

Построить банку с зависимостями.