Как получить начальные и конечные события из таблицы

Question

У меня есть следующие записи в таблице

session_id sequence timestamp 
1   1  298349 
1   2  299234 
1   3  234255 
2   1  153523 
2   2  234524 
3   1  123434 

Я хочу иметь следующие результаты

session_id start  end 
1   298349  234255 
2   153523  234524 
3   123434  123434 

Как я могу сделать это в свинью ?

Answer 1

register 'file:$piglib/datafu-1.2.0.jar'; 

define FirstTupleFromBag datafu.pig.bags.FirstTupleFromBag(); 

input_data = load 'so.txt' using PigStorage('\t') as (session_id:int, sequence:int, time:long); 

g = group input_data by session_id; 

r = foreach g { 
    s1 = order input_data by sequence asc; 
    s2 = order input_data by sequence desc; 
    generate group as session_id, FirstTupleFromBag(s1, null).time as start, FirstTupleFromBag(s2, null).time as end; 
} 

dump r; 

Прежде всего, мы группа по session_id, а затем сортировать по восходящей последовательности и порядок убывания и принять первый кортеж из отсортированных мешков соответственно.

Это делает использование библиотеки datafu UDF (http://datafu.incubator.apache.org/docs/datafu/1.2.0/datafu/pig/bags/FirstTupleFromBag.html)