командной строки поворота

Question

Я охотился вокруг последние несколько дней для набора инструментов командной строки, в Perl или сценарий AWK, что позволит мне очень быстро перенести следующие данные:

Row|Col|Val 
1|A|foo 
1|B|bar 
1|C|I have a real 
2|A|bad 
2|C|hangover 

в это :

A|B|C 
foo|bar|I have a real 
bad||hangover 

Обратите внимание, что есть только одно значение в наборе данных для каждой «ячейки» (то есть, как и в таблице, нет никаких дубликатов Row «1» Col «а»)

Я пробовал разные awk, она ll для переноса данных, но не может заставить их работать. Одна из моих идей заключалась в том, чтобы вырезать каждое значение «Col» в отдельный файл, а затем использовать командную строку «join», чтобы объединить их вместе «Row», но ДОЛЖЕН быть более простым способом. Я уверен, что это просто невероятно просто, но я немного борюсь.

Мои входные файлы имеют Cols A-G (в основном, включая строки переменной длины) и 10 000 строк. Если я могу избежать загрузки всего в память, это было бы огромным плюсом.

Пиво по почте для всех, у кого есть ответ!

Как всегда - большое спасибо за вашу помощь.

Cheers,

Джош

P.S. - Я немного удивлен тем, что для выполнения этого очень простого типа операции поворота/транспонирования нет привычной командной строки. Я посмотрел на http://code.google.com/p/openpivot/ и на http://code.google.com/p/crush-tools/, оба из которых, похоже, требуют агрегатных вычислений.

Answer 1

Я могу сделать это с gawk, но не с nawk.

#!/usr/local/bin/gawk -f 

BEGIN { 
    FS="|"; 
} 

{ 
    rows[$1]=1; cols[$2]=1; values[$1][$2]=$3; 
} 

END { 
    for (col in cols) { 
    output=output sprintf("|%s", col); 
    } 
    print substr(output, 2); 
    for (row in rows) { 
    output=""; 
    for (col in cols) { 
     output=output sprintf("|%s", values[row][col]); 
    } 
    print substr(output, 2); 
    } 
} 

И даже работает:

ghoti@pc $ cat data 
1|A|foo 
1|B|bar 
1|C|I have a real 
2|A|bad 
2|C|hangover 
ghoti@pc $ ./doit.gawk data 
A|B|C 
foo|bar|I have a real 
bad||hangover 
ghoti@pc $ 

Я не уверен, насколько хорошо это будет работать с 10000 строк, но я подозреваю, что если у вас есть память для него, вы будете хорошо. Я не вижу, как можно избежать загрузки вещей в память , за исключением, путем хранения вещей в отдельных файлах, к которым вы позже присоединились. Это в значительной степени ручная реализация виртуальной памяти.

UPDATE:

Per комментарии:

#!/usr/local/bin/gawk -f 

BEGIN { 
    FS="|"; 
} 

{ 
    rows[$1]=1; cols[$2]=1; values[$1,$2]=$3; 
} 

END { 
    for (col in cols) { 
    output=output sprintf("|%s", col); 
    } 
    print output; 
    for (row in rows) { 
    output=""; 
    for (col in cols) { 
     output=output "|" values[row,col]; 
    } 
    print row output; 
    } 
} 

И выход:

ghoti@pc $ ./doit.awk data 
|A|B|C 
1|foo|bar|I have a real 
2|bad||hangover 
ghoti@pc $ 

Answer 2

Просто используйте хэш. Если вы не хотите загружать их в память, вам могут понадобиться модули, такие как DBM::Deep и бэкэнд DBM.

my %table; 

my $maxa = 'A'; 
my $maxr = 0; 

<>; 

while (<>) { 
    chomp; 
    my ($a,$b,$c) = split /\|/; 
    $table{$a}->{$b} = $c; 

    $maxr = $a if ($a > $maxr); 
    $maxa = $b if ($b gt $maxa); 
} 

for (my $c = 'A' ; $c lt $maxa ; $c++) { 
    print $c . '|'; 
} 
print "$maxa\n"; 

for (my $r = 1 ; $r <= $maxr ; $r++) { 
    for (my $c = 'A' ; $c lt $maxa ; $c++) { 
     print $table{$r}->{$c} . '|'; 
    } 
    print $table{$r}->{$maxa} . "\n"; 
} 

Answer 3

Если вы знаете Awk, я рекомендую вам посмотреть на Perl. Perl намного эффективнее, чем Awk. Преимущество в том, что если вы знаете оболочку BASH/Bourne и Awk, большая часть синтаксиса в Perl будет знакома.

Еще одна приятная вещь в Perl - это весь репозиторий CPAN, который позволяет вам загружать уже написанные модули Perl для использования в вашей программе. Быстрый поиск в CPAN поднял Data::Pivot, который выглядит (очень быстрый взгляд), он может делать то, что вы хотите.

Если нет, взгляните на команду Acme::Tools pivot. Или попробуйте один из many others.

Другие уже предоставили несколько решений, но я рекомендую вам посмотреть, что такое архив CPAN Perl. Это очень мощный инструмент для подобных вещей.