Чтение текстового файла на основе ключа в виде колонны из другого Textfile

Question

Я новый Спарк Я пытаюсь загрузить таблицу в Спарк как Textfile

Я хочу, чтобы прочитать текстовый файл, основанный на другой Текстовый файл Column например :: Id в качестве ключа Если B.id Матчи a.id Тогда я должен прочитать файл B в Спарк

val file2=sc.textFile("path") 

Answer 1

Один из способов будет читать как файлы & затем присоединиться к ним на основе идентификатора и выберите только те столбцы из t в состоянии б, некоторые вещи, как показано ниже

val df1 = Seq((1, "Anu"),(2, "Suresh"),(3, "Usha"), (4, "Nisha")).toDF("id","name") 
val df2 = Seq((1, 23),(2, 24),(3, 24), (4, 25), (5, 30), (6, 32)).toDF("id","age") 

df1.as("df1").join(df2.as("df2"), df1("id") === df2("id"), "inner").select("df2.*").show() 

выход:

+---+---+ 
| id|age| 
+---+---+ 
| 1| 23| 
| 2| 24| 
| 3| 24| 
| 4| 25| 
+---+---+