как сравнивать числовые поля в двух файлах с AWK

Question

у меня есть эти два файла: file1

2537 

1279 

1075 

12799 

1474 

135441 

1260 

1169 

1281 

10759 

и file2

1070,1279960511,BR,USA,UNITED STATES 
1278,1279960511,US,USA,UNITED STATES 
1279,1279960527,CA,CAN,CANADA 
1289,1279967231,US,USA,UNITED STATES 
2679,1279971327,CA,CAN,CANADA 
1279,1279971839,US,USA,UNITED STATES 
1279,1279972095,CA,CAN,CANADA 
1279,1279977471,US,USA,UNITED STATES 
127997,1279977983,CA,CAN,CANADA 
127997,1279980159,US,USA,UNITED STATES 
127998,1279980543,CA,CAN,CANADA 
107599,1075995007,US,USA,UNITED STATES 
107599,1075995023,VG,VGB,VIRGIN ISLANDS, BRITISH 
107599,1075996991,US,USA,UNITED STATES 
107599,1075997071,CA,CAN,CANADA 

я хочу: для каждой записи file1 пройти через первый столбец файла2, и когда значение в этом столбце станет больше, чем элемент «file1», то верните третий элемент файла2 . Я пробовал много много способов, но ни один из них не работал, я либо получил пустой файл, либо распечатывал что-то разное, чем ожидаюмоя последняя попытка есть:

awk -F, ' 
BEGIN {FS="," ; i=1 ; while (getline < "file2") { x[i] = $1 ; y[i] = $3 ; i++ }} 

{ a[$1] = $1 ; h=1 ; while (x[h] <= a[$1]) { h++ } ; { print y[h] }}' file1 

, но это работает навсегда это не останавливает ни дает что-нибудь помощь мне plzzz это убивает меня в течение нескольких дней, и теперь я отказываюсь от благодаря

Желаемый результат:

#this is a comment and i ll write file 2 as if it was a matrix 

because file1[1] > file2[1,1] ... and file1[1] > file2[2,1] .... and file1[1] > file2[3,1] ... and file1[1] > file2[4,1] but file1[1] < file2[5,1] ... then print file2[4,3] ... which is "US" 

now go to file1[2] : 

file[2] > file2[1,1] ... and file1[2] > file2[2,1] ... but file1[2] <= file2[3,1] ... then print file2[3,3] 

в заключение я хочу напечатать: «третий elemenent (Col) первой линии (от file2) элемент file1 первый становится> первый элемент следующей строки (file2)

Answer 1

Длинные один лайнер:

Вот один из способов вы можете сделать это:

cat file1|grep -vE '^$'|while read min; do cat file2|while read line; do val=$(echo $line|cut -d, -f1); if [ $min -lt $val ]; then short_country=$(echo $line|cut -d, -f3); echo $min: $short_country "($val)"; break; fi; done; done 

Это дает выход

2537: CA (2679) 
1279: US (1289) 
1075: US (1278) 
12799: CA (127997) 
1474: CA (2679) 
1260: US (1278) 
1169: US (1278) 
1281: US (1289) 
10759: CA (127997) 

Пояснение

Вместо того, чтобы этот один-лайнер, это легче понять, если разбить его в скрипте:

#!/bin/bash 

cat file1 |        # read file1 
grep -E '^[0-9]+$' |      # filter out lines in file1 that don't just contain a number 
while read min; do      # for each line in file1: 
    cat file2 |        # read file2 
    grep -E '^([0-9]+,){2}[A-Z]{2},' |  # filter out lines in file2 that don't match the right format 
    while read line; do      # for each line in file2: 
    val=$(echo $line|cut -d, -f1)    # pull out $val: the first comma-delimited value 
    if [ $min -lt $val ]; then    # if it's greater than the $min value read from file1: 
     short_country=$(echo $line|cut -d, -f3) # get the $short_country from the third comma-delimited value in file2 
     echo "$min: $short_country ($val)"  # print it to stdout. You can get rid of ($val) here if you're not interested in it. 
     break          # Now that we've found a value in file2, stop this loop and go to the next line in file1 
    fi 
    done 
done 

Поскольку вы первоначально не указать выходной формат, я догадался. Надеюсь, вам это полезно.

Answer 2

Не можете ли вы использовать xargs для части «прочитать файл1» вашего задания? Единственная часть «seek value in file2» очень проста в awk, и вы избегаете указателей двойных файлов ...

Редактировать: пример использования xargs и awk.

cat file1 | xargs awk '$1 > ARGV[2] {print $3; return}' file2 

Edit: Этот пример работает (пробовал на моем компьютере сейчас ...)

Использование -n 1 в качестве опции для xargs пройти ровно один аргумент в каждом проходе. Удалите «val» arg после его сохранения, поэтому AWK получает только имя файла (file2) и знает, что делать. Флаг, если найден, возврат не существует.

cat file1 | xargs -n 1 awk -F, 'BEGIN {val = ARGV[2]; ARGC--; found=0} $1 > val {if (found==0) { print val, $3; found = 1}}' file2 

Edit: короткая версия

cat file1 | xargs -n 1 awk -F, 'BEGIN {val = ARGV[2]; ARGC--} (!found) && ($1 > val) {print val, $3; found = 1}' file2 

версия сценария:

#!/usr/bin/awk -f 
BEGIN { 
    val = ARGV[2] 
    ARGC-- 
} 
(!found) && ($1 <= val) { 
    # cache 3rd column of previous line 
    prev = $3 
} 
(!found) && ($1 > val) { 
    # print cached value as soon as we cross the limit 
    print val, prev 
    found = 1 
} 

имя его find_val.awk и CHMOD + х он.В общем, вы жулик просто сделать find_val.awk somefile somevalue и использование xargs так же

cat file1 | xargs -n 1 find_val.awk file2 

Answer 3

Я взял ваш AWK-скрипт в качестве основы для следующего. Я изменил имена переменных, чтобы сделать их более значимыми, поскольку это помогает в самодокументации.

#!/usr/bin/awk -f 
BEGIN { 
    FS="," 
    count = 1 
    while (getline < "file2") { 
     key[count] = $1 
     countrycode[count] = $3 
     count++ 
    } 
} 

{ 
    for (idx = 1; idx <= count; idx++) 
    { 
     if ($1 < key[idx]) { 
      print countrycode[idx] 
      next 
     } 
    } 
} 

Пример запуска (печать $0 вместо того, чтобы просто $3 - код выше только отпечатки $3):

$ sort -n -k1,1 -t, file2 > tmp; mv tmp file2 
$ ./scannums file1 
2679,1279971327,CA,CAN,CANADA 
1289,1279967231,US,USA,UNITED STATES 
1278,1279960511,US,USA,UNITED STATES 
127997,1279977983,CA,CAN,CANADA 
2679,1279971327,CA,CAN,CANADA 
1278,1279960511,US,USA,UNITED STATES 
1278,1279960511,US,USA,UNITED STATES 
1289,1279967231,US,USA,UNITED STATES 
127997,1279977983,CA,CAN,CANADA 

Обратите внимание, что ничего не печатается для значения 135441 из file1, так как ничего из file2 не отвечает критериям ,

Если вы предпочитаете, это может быть сделано в однострочный.

Answer 4

Будет ли это работать?

sort -n -t"," -k1,1 file1 file2 | awk -F"," '{if ($3 != "") {s = $3;} else {print $1 " " s;}}' 

производит

1075 BR 
1169 BR 
1260 BR 
1279 US 
1281 US 
1474 US 
2537 US 
10759 CA 
12799 CA 
135441 CA 

Если первоначальный заказ в file1 имеет важное значение, ниже может быть использован

awk '{print NR "," $1}' file1 file2 | sort -t"," -n -k 2,2 | awk -F"," '{if ($4 != "") {s = $4;} else {print $1 " " s;}}' | sort -t"," -k1,1 | cut -d" " -f2 

производит

US 
CA 
BR 
BR 
US 
CA 
US 
BR 
CA 
US