Как пометить строку в группе строк в искровом информационном кадре

Question

Привет, я хотел бы отметить строку из группы записей на основе некоторых правил. У меня есть dataframe, как показано ниже

id price date 
a 100 2016 
a 200 2016 
a 100 2016 
b 100 2016 
b 100 2015 

Мой выход dataframe должен быть

id price date 
a 200 2016 
b 100 2016 

В данном dataframe правила основаны на двух columns.From г. группа идентификаторов (а, б), сначала одного основанный на максимальной цене, а второй на основе последней даты. Мои фактические правила более сложны и включают множество других столбцов.

Что лучше всего подходит для решения таких проблем. Нужно выбрать строку из группы строк на основе некоторых правил. Любая помощь будет оценена. Спасибо

Answer 1

Попробуйте это.

val df = Seq(("a",100,2016), ("a",200,2016), ("a",100,2016), ("b",100,2016),("b",100,2015)).toDF("id", "price", "date") 
df.show 
val df1 = df.select($"id", struct($"price", $"date").alias("data")).groupBy($"id").agg(max("data").alias("data")).select($"id", $"data.price", $"data.date") 
df1.show 

Вы получите выход, как показано ниже.

+---+-----+----+ 
| id|price|date| 
+---+-----+----+ 
| b| 100|2016| 
| a| 200|2016| 
+---+-----+----+