cat urllist.txt | xargs -P0 -n1 curl | grep "HREF ="> out.txtзавиток и одновременное получение 100 URL-адресов
это прекрасно работает, но одновременно подключает один URL-адрес. как я могу скрутить 100 URL одновременно?
Вместо использования xargs используйте parallel для этого. Он очень похож на xargs, но вместо этого запускает команды параллельно - отсюда и название ...
Если вы хотите сравнить URL-адрес, используйте тест apache. Он поставляется с httpd. Пример запуска:
$ ab -n 100 -c 100 "<url>"
Что выше делает, ударил URL в 100 раз на (с) oncurrency из 100