Spark, похоже, не использует тот же склад, который использует Hive

Question

Я начал использовать Spark 2.0 на своем Eclipse, создав проект maven и получив во всех последних зависимостях. Я могу без проблем запускать запросы на улей. Меня беспокоит, что Spark создает другой склад для улья и не использует хранилище данных, которое я хочу. Итак, все таблицы улья, которые у меня есть на моем сервере, я не могу прочитать эти таблицы улья в своих наборах данных Spark и делать какие-либо преобразования. Я могу только создавать и работать с новыми таблицами, но я хочу читать мои таблицы в улье.

Мой улей-site.xml: -

<configuration><property> 
    <name>javax.jdo.option.ConnectionURL</name> 
    <value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value> 
    <description>metadata is stored in a MySQL server</description></property>  <property> 
    <name>javax.jdo.option.ConnectionDriverName</name> 
    <value>com.mysql.jdbc.Driver</value> 
    <description>MySQL JDBC driver class</description></property><property> 
    <name>javax.jdo.option.ConnectionUserName</name> 
    <value>hiveuser</value> 
    <description>user name for connecting to mysql server</description></property><property> 
    <name>javax.jdo.option.ConnectionPassword</name> 
    <value>root</value> 
    <description>password for connecting to mysql server</description></property><property> 
    <name>hive.metastore.warehouse.dir</name> 
    <value>/usr/local/Cellar/hive–1.1.0/apache-hive-1.1.0-bin/spark-warehouse</value> 
    <description>location of default database for the warehouse</description></property></configuration> 

Answer 1

В улья site.xml добавить,

<property> 
    <name>hive.metastore.uris</name> 
    <value>thrift://HOST_IP_ADDRESS:9083</value> 
    <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description> 
    </property> 

рестарт улей службы

, а затем установить,

1) Скопируйте файл hive-site.xml из каталога $ HIVE_CONF в $ SPARK_CONF.

или 2)

HiveContext hiveContext = new HiveContext(sc); 

hiveContext.setConf("hive.metastore.uris", "thrift://HOST_IP_ADDRESS:9083"); 

Answer 2

Как я понял, вы можете запросить из улья/Билайна вы не можете иметь возможность запрашивать ту же таблицу с искровым программы

• вы можете распечатать все конфигурации для проверки как это из вашей искровой программы.

Поскольку вы используете искру 2.0, пожалуйста, проверьте ниже искровой сессии

val spark = SparkSession 
    .builder() 
    .appName("yourappname") 
    .config("spark.sql.warehouse.dir", warehouseLocation) 
    .enableHiveSupport() 
    .getOrCreate() 

SparkSession выставляет «каталог» в качестве публичного экземпляра, который содержит методы, которые работают с metastore (т.е. каталог данных) , Поскольку эти методы возвращают набор данных, вы можете использовать API-интерфейс Dataset для доступа или просмотра данных .

Также попробуйте ниже

//fetch metadata data from the catalog 
    spark.catalog.listDatabases.show(false) 
    spark.catalog.listTables.show(false) 

, а затем распечатать spark.conf.getAll().mkString("\n"))

вы можете увидеть, является ли какая-то разница в улье свойств (например, hive.metastore.warehouse.dir или hive.metastore.uris), которые были там в улье-site.xml с выше свойств.