Чтение содержимого строки из HDFS в Scala

Question

Что такое простой способ чтения из HDFS в Scala, а также возможность создавать модульные тесты, которые полагаются на HDFS без требования доступа к этой HDFS? Как-то издеваться над HDFS?

Answer 1

Я предлагаю использовать spark.

val textFile = sc.textFile("hdfs://...") 
val counts = textFile.flatMap(line => line.split(" ")) 
       .map(word => (word, 1)) 
       .reduceByKey(_ + _) 
counts.saveAsTextFile("hdfs://...")