Vora 1.3 Thriftserver не может запускаться

Question

Я развертываю Vora 1.3 Services на HDP 2.3, используя веб-интерфейс менеджера. В основном настройка по умолчанию и назначение узлов. Я назначил службу Vora Thriftserver узлу, который успешно разместил ту же службу Vora 1.2 (которую я уже удалил).

Услуга не начинается. Вот соответствующая часть журнала:

17/01/23 10:04:27 INFO Server: jetty-8.y.z-SNAPSHOT 
17/01/23 10:04:27 INFO AbstractConnector: Started SelectChannelConnector@0.0.0.0:4040 
17/01/23 10:04:27 INFO Utils: Successfully started service 'SparkUI' on port 4040. 
17/01/23 10:04:27 INFO SparkUI: Started SparkUI at http://<jumpbox>:4040 
17/01/23 10:04:28 INFO SparkContext: Added JAR file:/var/lib/ambari-agent/cache/stacks/HDP/2.3/services/vora-manager/package/lib/vora-spark/lib/spark-sap-datasources-1.3.102-assembly.jar at http://<jumpbox>:41874/jars/spark-sap-datasources-1.3.102-assembly.jar with timestamp 1485126268263 
17/01/23 10:04:28 WARN MetricsSystem: Using default name DAGScheduler for source because spark.app.id is not set. 
17/01/23 10:04:28 INFO Executor: Starting executor ID driver on host localhost 
17/01/23 10:04:28 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 37523. 
17/01/23 10:04:28 INFO NettyBlockTransferService: Server created on 37523 
17/01/23 10:04:28 INFO BlockManagerMaster: Trying to register BlockManager 
17/01/23 10:04:28 INFO BlockManagerMasterEndpoint: Registering block manager localhost:37523 with 530.0 MB RAM, BlockManagerId(driver, localhost, 37523) 
17/01/23 10:04:28 INFO BlockManagerMaster: Registered BlockManager 
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/execution/SparkPlanner 
     at org.apache.spark.sql.hive.sap.thriftserver.SapSQLEnv$.init(SapSQLEnv.scala:39) 
     at org.apache.spark.sql.hive.thriftserver.SapThriftServer$.main(SapThriftServer.scala:22) 
     at org.apache.spark.sql.hive.thriftserver.SapThriftServer.main(SapThriftServer.scala) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
(.... goes on...) 

Спарк исполняемые и Java исполняемые пути в закладке конфигурации Вора Thriftserver правильны.

Я пропустил что-то еще?

Answer 1

Вы используете Vora 1.3, что означает, что вы должны использовать HDP 2.4.2, который включает в себя требуемую версию Spark 1.6.1. См. Официальный Vora product availability matrix (PAM)