конвертировать строку в Scala РДУ [след [строка]]

Question

// 4 workers 
    val sc = new SparkContext("local[4]", "naivebayes") 

    // Load documents (one per line). 
    val documents: RDD[Seq[String]] = sc.textFile("/tmp/test.txt").map(_.split(" ").toSeq) 

    documents.zipWithIndex.foreach{ 
    case (e, i) => 
    val collectedResult = Tokenizer.tokenize(e.mkString) 
    } 

    val hashingTF = new HashingTF() 
    //pass collectedResult instead of document 
    val tf: RDD[Vector] = hashingTF.transform(documents) 

    tf.cache() 
    val idf = new IDF().fit(tf) 
    val tfidf: RDD[Vector] = idf.transform(tf) 

в приведенном выше фрагменте кода, я хотел бы, чтобы извлечь collectedResult, чтобы использовать его для hashingTF.transform, как это может быть достигнуто, когда подпись разметить функции

def tokenize(content: String): Seq[String] = { 
... 
} 

Answer 1

Похоже, вы хотите map, а не foreach. Я не понимаю, что вы используете zipWithIndex, а не за то, что вы звоните split на своих линиях, чтобы снова присоединиться к ним снова с помощью mkString.

val lines: Rdd[String] = sc.textFile("/tmp/test.txt") 
val tokenizedLines = lines.map(tokenize) 
val hashes = tokenizedLines.map(hashingTF) 
hashes.cache() 
...