Как использовать Linux «разрезать» параллельно

Question

У меня есть большой файл с разделителями табуляции (10 ТБ).

Я хотел бы отрезать файл по определенным столбцам, и я хотел бы сделать это параллельно, используя каждый из моих 24 ядер.

cut -f1,2,3 file > out 

Любые мысли о том, как это сделать, используя несколько ядер или параллельно ..?

У меня есть некоторые идеи, как

cat file | parallel --round-robin --pipe "cut -f1 1,2,3" > out 

cat file | parallel --round-robin --pipe --block 1000000k "cut -f1 1,2,3" > out 

Answer 1

Если диск не является ограничивающим фактором (но процессор):

parallel -k --pipepart -a big.tsv --block 1g cut -f1 1,2,3 > out