Как использовать несколько проходов с gawk?

Question

Я пытаюсь использовать GAWK из CYGWIN для обработки CSV-файла. Pass 1 находит максимальное значение, а pass 2 печатает записи, соответствующие максимальному значению. Я использую файл .awk в качестве входных данных. Когда я использую текст в руководстве, он совпадает с обоими проходами. Я могу использовать форму IF как обходной путь, но это заставляет меня использовать IF внутри каждого совпадения шаблонов, что является своего рода болью. Любая идея, что я делаю неправильно?

Вот мой .awk файл:

pass == 1 
{ 
    print "pass1 is", pass; 
}  

pass == 2 
{ 
if(pass == 2) 
    print "pass2 is", pass; 
}  

Вот мой вывод (входной файл просто «привет):

hello 
pass1 is 1 
pass1 is 2 
hello 
pass2 is 2 

Вот моя командная строка:

gawk -F , -f test.awk pass=1 x.txt pass=2 x.txt 

Я d оценить любую помощь.

Answer 1

An (Г) AWK решение может выглядеть следующим образом:

awk 'FNR == NR{print "1st pass"; next} 
    {print "second pass"}' x.txt x.txt 

(Пожалуйста, замените awk на gawk при необходимости.)
Допустим, вы хотите найти максимальное значение в первом столбце файла x.txt, а затем распечатать все линии, которые имеют это значение в первом столбце, ваша программа может выглядеть следующим образом (спасибо Ed Мортон для некоторых кончике см комментарий):

awk -F"," 'FNR==NR {max = ((FNR==1) || ($1 > max) ? $1 : max); next} 
      $1==max' x.txt x.txt 

выход для x.txt:

6,5 
2,6 
5,7 
6,9 

является

6,5 
6,9 

Как это работает? Переменная NR продолжает увеличиваться с каждой записью, тогда как FNR сбрасывается до 1 при чтении нового файла. Следовательно, FNR==NR применим только для первого обработанного файла.

Answer 2

Итак ... Ф.Кнорр ответил на ваш вопрос точно и кратко, и он заслуживает большой зеленой галочки. NR==FNR - это именно тот секретный соус, который вы ищете.

Но здесь есть другой подход, на всякий случай многопроходная вещь оказывается проблематичной. (Возможно, вы читаете файл с медленного диска, флешку, по сети, DAT ленты и т.д.)

awk -F, '$1>m{delete l;n=0;m=$1}m==$1{l[++n]=$0}END{for(i=1;i<=n;i++)print l[i]}' inputfile 

Или, разнесены для удобства чтения:

BEGIN { 
    FS="," 
} 

$1 > max { 
    delete list   # empty the array 
    n=0     # reset the array counter 
    max=$1    # set a new max 
} 

max==$1 { 
    list[++n]=$0   # record the line in our array 
} 

END { 
    for(i=1;i<=n;i++) { # print the array in order of found lines. 
    print list[i] 
    } 
} 

С те же входные данные, с которыми тестировался F.Knorr, я получаю одинаковые результаты.

Идея здесь заключается в том, чтобы просмотреть файл в ОДНОМ проходе. Мы записываем каждую строку, которая соответствует нашему максимуму в массиве, и если мы сталкиваемся с значением, превышающим max, мы очищаем массив и начинаем сбор строк заново.

Этот подход является heaver на процессоре и памяти (в зависимости от размера вашего набора данных), но, будучи одним проходом, он, вероятно, будет легче на IO.

Answer 3

Проблема здесь в том, что новые строки относятся к awk.

# This does what I should have done: 
pass==1 {print "pass1 is", pass;} 
pass==2 {if (pass==2) print "pass2 is", pass;} 

# This is the code in my question: 
# When pass == 1, do nothing 
pass==1 
# On every condition, do this 
    {print "pass1 is", pass;} 
# When pass == 2, do nothing 
pass==2 
# On every condition, do this 
    {if (pass==2) print "pass2 is", pass;} 

Использование pass == 1, pass == 2 не так изящно, но оно работает.