Создание JavaRDD из списка в Спарк 2,0

Question

Обычный способ создания JavaRDD из списка является использование JavaSparkContext.parallelize(List)

Однако в Спарк 2.0 SparkSession используется в качестве точки входа, и я не знаю, как создать JavaRDD из списка

Answer 1

Решение: Spark-оболочка (Спарк 2,0)

import org.apache.spark.api.java.JavaSparkContext 
val jsc = new JavaSparkContext(sc) 
val javaRDD:java.util.List[Int]= java.util.Arrays.asList(1, 2, 3, 4, 5) 
jsc.parallelize(javaRDD) 

Spark Programming Guide

Answer 2

Я была такая же Proble м. То, что я сделал до сих пор:

List<String> list = Arrays.asList("Any", "List", "with", "Strings"); 
Dataset<String> listDS = sparkSession.createDataset(list, Encoders.STRING()); 
JavaRDD<String> javaRDDString = listDS.toJavaRDD(); 

Одной из причин для меня, чтобы сделать это, например, что я хочу использовать flatMap, который отлично работает с JavaRDD<String>, но не с Dataset<String>

Надеется, что это помогает.