Спарк Несоответствие типа: не может конвертировать из DataFrame в Dataset <Row>

Question

Я получаю странные ошибки, говоря

Type mismatch: cannot convert from DataFrame to Dataset<Row> 

Когда я пытаюсь выполнить пример кода из here.

Это линия, которая дает мне ошибку.

Dataset<Row> verDF = spark.createDataFrame(uList, User.class); 

Я также посмотрел на документацию Спарк here, что дает тот же самый пример. Но я не уверен, почему он не работает в моем случае.

Вот мои imports:

import org.apache.spark.api.java.JavaRDD; 
import org.apache.spark.api.java.function.Function; 
import org.apache.spark.graphx.*; 
import org.apache.spark.graphx.lib.*; 
import org.apache.spark.rdd.RDD; 
import org.apache.spark.sql.Dataset; 
import org.apache.spark.sql.Row; 
import org.apache.spark.storage.StorageLevel; 
import org.graphframes.GraphFrame; 

import scala.Tuple2; 
import scala.collection.Iterator; 
import scala.collection.immutable.Map; 
import scala.collection.immutable.Seq; 

Вот связанные зависимостями:

<repositories> 
     <repository> 
      <id>cloudera</id> 
      <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> 
     </repository> 
     <repository> 
      <id>SparkPackagesRepo</id> 
      <url>http://dl.bintray.com/spark-packages/maven</url> 
     </repository> 
    </repositories> 

    <dependencies> 
     <dependency> 
      <groupId>org.apache.hadoop</groupId> 
      <artifactId>hadoop-client</artifactId> 
      <version>${hadoop.version}</version> 
     </dependency> 
    <dependency> 
     <groupId>graphframes</groupId> 
     <artifactId>graphframes</artifactId> 
     <version>0.2.0-spark2.0-s_2.11</version> 
    </dependency> 

     <dependency> 
      <groupId>org.apache.spark</groupId> 
      <artifactId>spark-core_2.10</artifactId> 
      <version>${spark.version}</version> 
     </dependency> 
     <dependency> 
      <groupId>org.apache.spark</groupId> 
      <artifactId>spark-sql_2.10</artifactId> 
      <version>${spark.version}</version> 
     </dependency> 

     <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-mllib_2.10 --> 
     <dependency> 
      <groupId>org.apache.spark</groupId> 
      <artifactId>spark-mllib_2.10</artifactId> 
      <version>1.3.0</version> 
     </dependency> 
     <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-graphx_2.10 --> 
     <dependency> 
      <groupId>org.apache.spark</groupId> 
      <artifactId>spark-graphx_2.10</artifactId> 
      <version>2.1.0</version> 
     </dependency> 




    </dependencies> 

Answer 1

Решенный вопрос. Я использовал следующие зависимости и использовал экземпляр SparkSession для создания фрейма данных.

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-core_2.11</artifactId> 
    <version>2.0.0-cloudera1-SNAPSHOT</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-sql_2.11</artifactId> 
    <version>2.0.0-cloudera1-SNAPSHOT</version> 
</dependency>