Bash способ удалить пробелы в одном столбце огромного файла

Question

У меня есть большой (15 Gb) табуляцией delimered текстовый файл (например, «Test.csv»):

ID1   ID2   ID3     ID4 
Some text Some text Text to be cleared Some text 

Проблема заключается в том, как удалить все пробелы в столбце ID3 с помощью сценария bash (Mac OS X 10.10). Таким образом, результат должен быть следующим:

ID1   ID2   ID3     ID4 
Some text Some text Texttobecleared Some text 

Обозначение столбца «\ t».

Answer 1

Вы должны быть в состоянии сделать что-то вроде этого

awk -F"\t" -v OFS="\t" '{gsub(" ", "", $3); print}' < file 

Заменить file на путь к файлу.

-F"\t" говорит, чтобы использовать символ табуляции в качестве разделителя при идентификации столбцов со входа.

-v OFS="\t" говорит, чтобы использовать символ табуляции для разделения столбцов на выходе.

gsub изменяет колонку 3 $3 и заменяет все пробелы " " пустой строкой.

Answer 2

С встроенных командах в Bash:

while IFS=$'\t' read id1 id2 id3 id4; do echo -e "$id1\t$id2\t${id3// /}\t$id4"; done <file_original> file_new 

Выход:

 
ID1  ID2  ID3  ID4 
Some text  Some text  Texttobecleared Some text 

Answer 3

Sed путь

sed ':T;s/^\(\([^\t]*\t\)\{2\}\)\([^\t]*\) /\1\3/;tT' file 

или с GNU и -r

ssed -r ':T;s/^(([^\t]*\t){2})([^\t]*) /\1\3/;tT' file