Ошибка wget и bash: bash: строка 0: fg: нет управления заданиями

Question

Я пытаюсь запустить ряд команд параллельно через xargs. Я создал пустой список разделенных команд в файле cmd_list.txt, а затем попытался запустить их параллельно с 6 нитей следующим образом:

cat cmd_list.txt | xargs -0 -P 6 -I % bash -c % 

Однако, я получаю следующее сообщение об ошибке:

bash: line 0: fg: no job control 

I 'сузилась проблема, связанная с длиной отдельных команд в списке команд. Вот пример искусственно длинную команду для загрузки изображения:

mkdir a-very-long-folder-de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8 
wget --no-check-certificate --no-verbose -O a-very-long-folder-de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8/blah.jpg http://d4u3lqifjlxra.cloudfront.net/uploads/example/file/48/accordion.jpg 

Просто работает в wget команду на себе, без списка файлов и без xargs, работает отлично. Однако выполнение этой команды в командной Баш строке (опять же, без списка файлов) не с no job control error:

echo "wget --no-check-certificate --no-verbose -O a-very-long-folder-de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8/blah.jpg http://d4u3lqifjlxra.cloudfront.net/uploads/example/file/48/accordion.jpg" | xargs -I % bash -c % 

Если я выхожу из длинного имени папки и, следовательно, сократить команду, она отлично работает:

echo "wget --no-check-certificate --no-verbose -O /tmp/blah.jpg http://d4u3lqifjlxra.cloudfront.net/uploads/example/file/48/accordion.jpg" | xargs -I % bash -c % 

xargs имеет параметр -s (размер), который может изменить размер макс длины командной строки, но я пытался увеличить его до абсурдных размеров (например, 16000), без какого-либо эффекта. Я думал, что проблема может быть связана с длиной строки, передаваемой в bash -c, но следующая команда также работает без проблем:

bash -c "wget --no-check-certificate --no-verbose -O a-very-long-folder-de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8/blah.jpg http://d4u3lqifjlxra.cloudfront.net/uploads/example/file/48/accordion.jpg" 

Я понимаю, что есть и другие варианты для запуска команд параллельно, например как parallel (https://stackoverflow.com/a/6497852/1410871), но я все еще очень заинтересован в исправлении моей установки или, по крайней мере, выяснении, где это происходит.

Я нахожусь в Mac OS X 10.10.1 (Yosemite).

Answer 1

Похоже, решение, чтобы избежать параметр -I для xargs, который, согласно OS X xargs man page, имеет предел 255 байт на строку замены. Вместо этого доступен параметр -J, который не имеет ограничения на 255 байтов.

Так что моя команда будет выглядеть так:

echo "wget --no-check-certificate --no-verbose -O a-very-long-folder-de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8/blah.jpg http://d4u3lqifjlxra.cloudfront.net/uploads/example/file/48/accordion.jpg" | xargs -J % bash -c % 

Однако в команде выше, только часть замены строки до первого пробела передается колотить, так Баш пытается выполнить:

wget 

который, очевидно, приводит к ошибке. Мое решение для того, чтобы xargs интерпретирует команды утратившим запятыми вместо пробелов, разделенных с помощью параметра -0, например, так:

echo "wget --no-check-certificate --no-verbose -O a-very-long-folder-de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8de090952623b4865c2c34bd6330f8a423ed05ed8/blah.jpg http://d4u3lqifjlxra.cloudfront.net/uploads/example/file/48/accordion.jpg" | xargs -0 -J % bash -c % 

и, наконец, это работает!

Спасибо @CharlesDuffy, который предоставил большую часть этого понимания. И я не благодарю мою версию OS X xargs за ее плохое управление строками замены, которые превышают ограничение в 255 байт.

Answer 2

Я подозреваю, что это символ процента, и ваша верхняя оболочка жалуется.

cat cmd_list.txt | xargs -0 -P 6 -I % bash -c %

Проценты являются метасимволами для управления заданиями. «fg% 2», например. «kill% 4».

Попробуйте ускользнуть от процентов с обратной косой чертой, чтобы сигнализировать верхней оболочке, что она не должна пытаться интерпретировать проценты, а xargs должен быть передан буквальным процентом.

cat cmd_list.txt | xargs -0 -P 6 -I \% bash -c \%