Файл журнала Slice 3TB с sed, awk & xargs?

Question

Мне нужно нарезать несколько ТБ данных журнала и предпочесть скорость командной строки. Перед обработкой я разбиваю файл на куски, но вам нужно удалить некоторые разделы.

Ниже приведен пример формата:

uuJ oPz eeOO 109 66 8 
uuJ oPz eeOO 48 0 221 
uuJ oPz eeOO 9 674 3 
kf iiiTti oP 88 909 19 
mxmx lo uUui 2 9 771 
mxmx lo uUui 577 765 27878456 

Промежутки между первые 3 буквенно-цифровые строки пространства. Все после этого - вкладки. Строки разделяются \n.

Я хочу сохранить только последнюю строку в каждой группе.

Если в группе есть только 1 строка, ее следует хранить.

Вот ожидаемый результат:

uuJ oPz eeOO 9 674 3 
kf iiiTti oP 88 909 19 
mxmx lo uUui 577 765 27878456 

Как я могу сделать это с помощью SED, AWK, xargs и друзей, или я должен просто использовать что-то выше уровня, как Python?

Answer 1

Попробуйте это:

awk 'BEGIN{FS="\t"} 
    {if($1!=prevKey) {if (NR > 1) {print lastLine}; prevKey=$1} lastLine=$0} 
    END{print lastLine}' 

Это сохраняет последнюю строку и выводит ее только тогда, когда он notcies, что ключ изменился.

Answer 2

awk -F '\t' ' 
    NR==1 {key=$1} 
    $1!=key {print line; key=$1} 
    {line=$0} 
    END {print line} 
' file_in > file_out 

Answer 3

Это может работать для вас:

sed ':a;$!N;/^\(\S*\s\S*\s\S*\)[^\n]*\n\1/s//\1/;ta;P;D' file