Bash: Запись stdout из нескольких параллельных процессов xargs в отдельные файлы журналов

Question

Я обрабатываю текстовый файл с несколькими параллельными процессами, порожденными xargs. Мне также нужно записать stdout из каждого процесса в отдельный файл журнала. Ниже приведен пример, где вывод каждого процесса чередуется в один файл - не то, что я хочу.

В идеале, каждый файл_журнал должен быть пронумерован по количеству файлов линии, то есть, файл_журнал-1, файл_журнал-2 и т.д.

cat inputfile.txt | xargs -n 1 -P 8 ./myScript.sh | tee logfile 

Было бы неплохо, чтобы избежать внешнего скрипта обертки, если это возможно, но если есть способ обернуть myScript документом здесь, это сработает.

Answer 1

Попробуйте это:

nl inputfile.txt | xargs -n 2 -P 8 sh -c './myScript.sh "$1" > logfile-$0' 

Это предполагает каждый аргумент в inputfile.txt на своей собственной линии и не содержит пробелов. Команда nl номера каждой строки, которая объединяет каждый аргумент с уникальным номером. Команды xargs принимают по два аргумента, первый номер строки, второй - соответствующую строку от inputfile.txt и передает их sh. Команда sh использует аргументы для генерации имени выходного файла и аргумента myScript.sh соответственно.

Answer 2

Вы можете использовать GNU Parallel, а и его -k возможность сохранить вывод в порядке, в одном файле журнала:

cat input | parallel -k ./myScript.sh > file.log 

Вы можете добавить -j 8 после parallel держать 8 ядер занят, но он будет держать в любом случае все ядра заняты по умолчанию.