Избегайте запуска HiveThriftServer2 с созданным контекстом программно

Question

Мы пытаемся использовать ThriftServer для запроса данных из искровых темповых таблиц в искровом 2.0.0.

Во-первых, мы создали sparkSession с поддержкой поддержки Hive. В настоящее время мы начинаем ThriftServer с sqlContext так:

HiveThriftServer2.startWithContext(spark.sqlContext()); 

У нас есть искровой поток с зарегистрированной временной таблицы «spark_temp_table»:

StreamingQuery streamingQuery = streamedData.writeStream() 
              .format("memory") 
              .queryName("spark_temp_table") 
              .start(); 

С Билайна мы можем видеть временные таблицы (работает SHOW TABLES);

Когда мы хотим запустить вторую работу (со второй вспышкой) с таким подходом, нам нужно запустить второй ThriftServer с другим портом.

У меня есть два вопроса:

1. Есть ли способ, чтобы иметь один ThriftServer по одному порту, с доступом ко всем таблицам температурных в другой sparkSessions?

2. HiveThriftServer2.startWithContext(spark.sqlContext()); аннотируется @DeveloperApi. Есть ли способ начать бережливый сервер с контекстом не в коде программно?
   Я видел, что конфигурация --conf spark.sql.hive.thriftServer.singleSession=true передана ThriftServer при запуске (sbin/start-thriftserver.sh), но я не понимаю, как определить это для задания. Я попытался установить это свойство конфигурации в конструкторе sparkSession, но beeline не отображал временные таблицы.

Answer 1

Есть ли способ, чтобы иметь один ThriftServer по одному порту, с доступом ко всем таблицам температурных в другой sparkSessions?

Номер ThriftServer использует определенные сеансовые и временные таблицы, к которым можно получить доступ только в течение этого сеанса. Вот почему:

beeline не отображал временные таблицы.

при запуске независимого сервера с sbin/start-thriftserver.sh.

spark.sql.hive.thriftServer.singleSession не означает, что вы получаете один сеанс для нескольких серверов. Он использует один и тот же сеанс для всех подключений к одному серверу Thrift . Возможный прецедент:

• вы начинаете бережливый сервер.
• client1 подключается к этому серверу и создает временную таблицу foo.
• client2 подключается к этому серверу и читает foo