несколько замен, используя сценарий оболочки

Question

У нас есть файл с миллиона записей, как показано ниже:

123,100F,abc 
456,250F,xyz 

Кроме того, у нас есть некоторое отображение, как показано ниже:

100F > 522 
150F > 523 
200F > 524 
250F > 525 
300F > 526 

Как я могу получить выход в требуемый формат, как показано ниже: второе поле изменено в соответствии с отображением и последним полем с текущей датой.

Выход:

123,522,2017-01-25 
456,525,2017-01-25 
... 

Я не хочу жесткий код, как

sed "s/100F/522/;s/250F/525/;s/\w*/`$date`" input > output 

Answer 1

Вы можете попробовать с awk, если файл отображения не столь значителен это хранится в словаре, то обрабатывается большой файл (это можно улучшить, если оба файла отсортированы),

awk -v date="$(date +"%Y-%m-%d")" ' 
    BEGIN{FS=",|[ ]+[>][ ]+"; OFS=","} 
    FNR==NR{d[$1]=$2; next} 
    {print $1,d[$2],date} 
' mapping file_with_million 

или

awk -v date="2017-01-25" ' 
    BEGIN{FS=",|[ ]+[>][ ]+"; OFS=","} 
    FNR==NR{d[$1]=$2; next} 
    {print $1,d[$2],date} 
' mapping file_with_million 

вы получите,

123,522,2017-01-25 
456,525,2017-01-25 

Answer 2

$ awk -v date="$(date +"%Y-%m-%d")" ' 
    NR==FNR { map[$1]=$3; next } 
    { print $1, map[$2], date } 
' map FS=, OFS=, file 
123,522,2017-01-23 
456,525,2017-01-23 

или, если вы предпочитаете держать FS и установка ФСУ в скрипте:

$ awk -v date="$(date +"%Y-%m-%d")" ' 
    NR==FNR { map[$1]=$3; next } 
    FNR==1 { FS=OFS=","; $0=$0 } 
    { print $1, map[$2], date } 
' map file 
123,522,2017-01-23 
456,525,2017-01-23 

Answer 3

Вот решение, используя только «дата» как внешняя ссылка. Обратите внимание, что на производительность, вероятно, повлияет мое назначение даты в цикле (ее можно поставить за пределы цикла, если вам не важно использовать текущую дату с момента запуска скрипта).

#!/bin/bash 

mappings_file="mapping" 
data_file="data" 

# Create a mapping array 
declare -A mappings 
while IFS= read -r line 
do 
    [[ "$line" =~ ^[[:space:]]*([^[:space:]]+)[[:space:]]*\>[[:space:]]*([^[:space:]]+)[[:space:]]*$ ]] || continue 
    key="${BASH_REMATCH[1]}" 
    value="${BASH_REMATCH[2]}" 
    mappings["$key"]="$value" 
done <"$mappings_file" 

# Perform replacement 
while IFS= read -r line 
do 
    # The regex below requires that there be no extra spacing in the data file ; 
    # it could be adjusted to allow it, using the same technique as above 
    [[ "$line" =~ ^(.*),(.*),.*$ ]] || continue 
    # If you trust that the date will not change during execution, 
    # you could put the next assignment outside of the loop 
    date="$(date +"%Y-%m-%d")" 
    key="${BASH_REMATCH[2]}" 
    value="${mappings[$key]}" 
    # If you need to handle missing mappings, do it here before printing 
    printf "%s\n" "${BASH_REMATCH[1]},$value,$date" 
done <"$data_file"