Могу ли я создать файл последовательности в Spark?

Question

В настоящее время у нас есть реализация в свинге для генерации файлов последовательности из записей, в которых некоторые атрибуты записи обрабатываются как ключ файла последовательности, и все записи, соответствующие этому ключу, сохраняются в одном файле последовательности. Когда мы движемся к искру, я хочу знать, как это можно сделать в искры?

Answer 1

saveAsSuqunceFile сохраняет данные в виде файла последовательности.

val a=sc.parallelize(List(1,2,3,4,5)).map(x=>(x,x*10)).saveAsSequenceFile("/saw1") 

$ hadoop fs -cat /sqes/part-00000 
SEQ org.apache.hadoop.io.IntWritable org.apache.hadoop.io.IntWritableZ  tTrh7��g�,�� 
2[cloudera@quickstart ~]$ 

читать использование sequencefile sc.sequenceFile

val sw=sc.sequenceFile("/saw1/part-00000", classOf[IntWritable],classOf[IntWritable]).collect