Phoenix Spark Plugin

Question

- обновление плагина до искры 2.0? я не могу использовать плагин

val df = spark.read 
     .format("org.apache.phoenix.spark") 
     .option("table", "web_stat") 
     .option("zkUrl", "localhost:2181") 
     .option("driver","org.apache.phoenix.jdbc.PhoenixDriver") 
     .load() 

ОШИБКА:

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/DataFrame 

просто подключить феникс JDBC ОК!

, когда я просто использовать разъем искры JDBC, он приходит

val df = spark.read 
     .format("jdbc") 
     .option("driver", "org.apache.phoenix.jdbc.PhoenixDriver") 
     .option("url", " jdbc:phoenix:localhost:2181") 
     .option("dbtable", "web_stat") 
     .load() 

ERROR

Exception in thread "main" java.lang.NullPointerException at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$.resolveTable(JDBCRDD.scala:167) at org.apache.spark.sql.execution.datasources.jdbc.JDBCRelation.(JDBCRelation.scala:117) at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:53) at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:345) at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:149) at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:122) at org.apache.spark.sql.phoenix.SparkPhoenixExample$.main(SparkPhoenixExample.scala:65)

Answer 1

Спарк 2,0 пока не работает с Фениксом. см. этот URL-адрес для исправления https://issues.apache.org/jira/browse/PHOENIX-3333