Я строю тесты в своем приложении Scala Spark, но я получаю исключение ниже на Intellij во время теста. Другие тесты без SparkContext работают нормально. Если я запускаю тест на терминале с помощью «sbt test-only», то тесты с использованием sparkcontext работают? Нужно ли мне специально настраивать intellij для тестов с использованием sparkcontext?Исключение из искрового теста
An exception or error caused a run to abort: org.apache.spark.rdd.ShuffledRDD.(Lorg/apache/spark/rdd/RDD;Lorg/apache/spark/Partitioner;)V java.lang.NoSuchMethodError: org.apache.spark.rdd.ShuffledRDD.(Lorg/apache/spark/rdd/RDD;Lorg/apache/spark/Partitioner;)V at org.apache.spark.graphx.impl.RoutingTableMessageRDDFunctions.copartitionWithVertices(RoutingTablePartition.scala:36) at org.apache.spark.graphx.VertexRDD$.org$apache$spark$graphx$VertexRDD$$createRoutingTables(VertexRDD.scala:457) at org.apache.spark.graphx.VertexRDD$.fromEdges(VertexRDD.scala:440) at org.apache.spark.graphx.impl.GraphImpl$.fromEdgeRDD(GraphImpl.scala:336) at org.apache.spark.graphx.impl.GraphImpl$.fromEdgePartitions(GraphImpl.scala:282) at org.apache.spark.graphx.GraphLoader$.edgeListFile(GraphLoader.scala:91)
Похоже, что существует некоторая некорректная конфигурация на пути к классам. Вы пытаетесь запустить с другой версией Spark, чем вы использовали для разработки кода? –
мой build.sbt выглядит: libraryDependencies + = "org.apache.spark" %% "искрового ядро" % "1.1.0" libraryDependencies + = "org.scalatest" % "scalatest_2.10" % " 2.0 "%" test " libraryDependencies + =" junit "%" junit "%" 4.8.1 "%" test " libraryDependencies + =" org.apache.spark "%%" spark-mllib "%" 1.1 .0 " libraryDependencies + =" org.apache.spark "%%" spark-sql "%" 1.1.0 " libraryDependencies + =" org.apache.spark "%%" spark-graphx "%" 1.1. 0 " ... – FrankyK