Работы Scala, отправленные через Livy в HDInsight, не видят метастор

Question

При запуске приложений scala через Livy в кластере HD Insight, sqlContext, который я создаю в своем приложении, похоже, не учитывает метастабильность улья. Он бросает «таблица не найдена» исключение при выполнении некоторой

sqlContext.sql("SELECT * FROM table LIMIT 1").collect.foreach(println) 

Однако, когда делает то же самое в свече скорлупе, она отлично работает.

Должен ли я указать какую-либо собственность где-нибудь?

Я думал, что это может быть доступ к разрешению, поэтому я попытался указать пользователю олицетворять использование параметра proxyUser, но он не учитывал ни того, ни другого.

Вот я посылаю JSON в Ливия:

{ "file":"wasb://container@storage.blob....", "className":"com.server.MyClass" } 

Вот как я создаю как SC и sqlContext переменное:

val conf = new SparkConf().setAppName("MyApp") 
val sc = new SparkContext(conf) 
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) 

Answer 1

Существует обходной путь для этой проблемы. Перейдите в Ambari и измените конфигурацию SPARK. https://<cluster endpoint>/#/main/services/SPARK/configs

Expand Расширенный искровой-ENV, измените строку, которая содержит SPARK_DIST_CLASSPATH к:

export SPARK_DIST_CLASSPATH=$SPARK_DIST_CLASSPATH:/usr/hdp/current/spark-client/lib/*:/usr/lib/hdinsight-datalake/*:/usr/hdp/current/spark-client/conf