Я запускаю искровое приложение с использованием искрового кассандра-коннектора.приложение искры cassandra не работает с ПОЛУЧЕННЫМ СИГНАЛОМ 15: SIGTERM
Ниже приведены мои искровым представить варианты
--class com.mobi.vserv.driver.Query5kPids1
--num-исполнители 4
--executor-памяти 4g
- исполнитель-сердечники 2
--driver-памяти 4g
Но я получаю следующую ошибку
16/03/30 11:57:07 ОШИБКА исполнитель.CoarseGrainedExecutorBackend: Driver 10.225.46.84:60637 disassociated! Выключение.
Также Кассандры подключается, а затем получает disconnecd
INFO Cluster: New Cassandra host /10.229.84.123:9042 added
INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.229.84.123 (us-east)
INFO Cluster: New Cassandra host /10.229.19.210:9042 added -> This is Seed Node
(This Message -> INFO LocalNodeFirstLoadBalancingPolicy: Doesnt show for Seed Node)
INFO Cluster: New Cassandra host /10.95.215.249:9042 added
INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.95.215.249 (us-east)
INFO Cluster: New Cassandra host /10.43.182.167:9042 added
INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.43.182.167 (us-east)
INFO Cluster: New Cassandra host /10.155.34.67:9042 added
INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.155.34.67 (us-east)
INFO Cluster: New Cassandra host /10.237.235.209:9042 added
INFO LocalNodeFirstLoadBalancingPolicy: Added host 10.237.235.209 (us-east)
INFO CassandraConnector: Connected to Cassandra cluster: dmp Cluster
INFO CassandraConnector: Disconnected from Cassandra cluster: dmp Cluster
И, наконец, пряжа Убивает мастер приложения
ОШИБКА ApplicationMaster: принимаемый сигнал 15: SIGTERM
I также добавлено
--conf spark.yarn.executor.memoryOverhead = 1024
--conf spark.yarn.driver.memoryOverhead = 1024
Но тогда приложение продолжает работать вечно.
я не знаю, что, кажется, проблема здесь, как бы, прежде чем запустили приложение, и оно успешно побежал
POM используется
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.6.0</version>
</dependency>
<dependency>
<groupId>com.datastax.spark</groupId>
<artifactId>spark-cassandra-connector_2.10</artifactId>
<version>1.4.0-M1</version>
</dependency>
<dependency>
<groupId>com.datastax.cassandra</groupId>
<artifactId>cassandra-driver-core</artifactId>
<version>2.1.6</version>
</dependency>
<dependency>
<groupId>com.datastax.spark</groupId>
<artifactId>spark-cassandra-connector-java_2.10</artifactId>
<version>1.4.0-M1</version>
</dependency>