Spark sql top n на группу

Question

Как я могу получить top-n (скажем, топ-10 или топ-3) для каждой группы в spark-sql?

http://www.xaprb.com/blog/2006/12/07/how-to-select-the-firstleastmax-row-per-group-in-sql/ содержит руководство по общему SQL. Однако искра не реализует подзапросы в предложении where.

Answer 1

Вы можете использовать функцию функции окна, которая была добавлена ​​в Spark 1.4 Предположим, что у нас есть таблица продуктов, как показано ниже.

ответ на Каковы лучшие продажи и второй наиболее продаваемых продуктов в каждой категории выглядит следующим образом

SELECT product,category,revenue FROM 
    (SELECT product,category,revenue,dense_rank() 
     OVER (PARTITION BY category ORDER BY revenue DESC) as rank 
    FROM productRevenue) tmp 
WHERE rank <= 2 

Tis даст вам желаемый результат