Как использовать array_agg() агрегатную функцию в свинью или улей

Question

У меня есть ниже данные:

================================================================ 
session_id      screen_name screen_launch_time 
================================================================ 
990004916946605-1404157897784 screen1  1404157898275 
990004916946605-1404157897784 screen2  1404157898337 
990004947764274-1435162269418 screen1  1435162274044 
990004947764274-1435162269418 screen3  1435162274081 

Я хотел бы использовать array_agg функцию, чтобы получить мои данные в приведенной ниже форме:

========================================================= 
session_id      screen_flow   count 
========================================================= 
990004916946605-1404157897784 screen1->screen2 1 
990004947764274-1435162269418 screen1->screen3 1 

Кто-нибудь пытался написать сценарий UDAF или python для реализации логики, используемой в функции array_agg?

Пожалуйста, поделитесь своими мыслями.

Answer 1

Только группа по session_id, concat screen_name и подсчет записей в группе. Если вы не хотите строить банку brickhouse, вы можете использовать collect_list() вместо collect() (но я не рекомендую).

Запрос:

add jar /path/to/jars/brickhouse-0.7.1.jar; 
create temporary function collect as "brickhouse.udf.collect.CollectUDAF"; 

select session_id, screen_flow 
    , count(*) count 
from (
    select session_id 
    , concat_ws('->', collect(screen_name)) screen_flow 
    from db.table 
    group by session_id) x 
group by session_id, screen_flow 

Выход:

990004916946605-1404157897784 screen1->screen2 1 
990004947764274-1435162269418 screen1->screen3 1 

Answer 2

Вход: -

990004916946605-1404157897784,screen1,1404157898275 
990004916946605-1404157897784,screen2,1404157898337 
990004947764274-1435162269418,screen1,1435162274044 
990004947764274-1435162269418,screen3,1435162274081 

Ниже ответ на Pig Style ..

records = LOAD '/user/user/inputfiles/session_id.txt' USING PigStorage(',') AS (session_id:chararray,screen_name:chararray,screnn_launch_time:chararray); 

rec_grped = GROUP records BY session_id; 

rec_each = FOREACH rec_grped 
        { 
         rec_inner_each = FOREACH records GENERATE screen_name; 

         GENERATE group as session_id, REPLACE(BagToString(rec_inner_each),'_','-->') as screen_flow, 1 as cnt; 
}; 

dump rec_each; 

выход: -

990004916946605-1404157897784 screen1-->screen2 1 
990004947764274-1435162269418 screen1-->screen3 1