ускорить скрипт bash с помощью многопоточности?

Question

У меня есть сценарий bash, который я собрал для объединения нескольких захватов пакетов на основе общего фильтра. Я запускаю daemonlogger на заднем конце, и он катит файлы pcap на основе размера, поэтому его трудно получить всю картину иногда, поскольку данные, которые я ищу, могут быть в одном файле pcap, а остальные в другом. Самая большая проблема У меня есть неспособность ускорить этот процесс. Он может обрабатывать только один pcap за раз. Кто-нибудь есть рекомендации относительно того, как ускорить это с помощью нескольких подпроцессов или нескольких потоков?

#!/bin/bash 
echo '[+] example tcp dump filters:' 
echo '[+] host 1.1.1.1' 
echo '[+] host 1.1.1.1 dst port 80' 
echo '[+] host 1.1.1.1 and host 2.2.2.2 and dst port 80' 
echo 'tcpdump filter:' 
read FILTER 
cd /var/mycaps/ 
DATESTAMP=$(date +"%m-%d-%Y-%H:%M") 
# make a specific folder to drop the filtered pcaps in 
mkdir /var/mycaps/temp/$DATESTAMP 
# iterate over all pcaps and check for an instance of your filter 
for file in $(ls *.pcap); do 
     tcpdump -nn -A -w temp/$DATESTAMP/$file -r $file $FILTER 
     # remove empty pcaps that dont match 
     if [ "`ls -l temp/$DATESTAMP/$file | awk '{print $5}'`" = "24" ]; then 
       rm -f "temp/$DATESTAMP/$file" 
     fi 
done 
echo '[+] Merging pcaps' 
# cd to your pcap directory 
cd /var/mycaps/temp/${DATESTAMP} 
# merge all of the pcaps into one file and remove the seperated files 
mergecap *.pcap -w merged.pcap 
rm -f original.* 
echo "[+] Done. your files are in $(pwd)" 

Answer 1

Запустите тело петли в фоновом режиме, затем дождитесь завершения всех фоновых заданий перед продолжением.

max_jobs=10 # For example 
job_count=0 
for file in *.pcap; do # Don't iterate over the output of ls 
    (tcpdump -nn -A -w temp/"$DATESTAMP"/"$file" -r "$file" $FILTER 
    # remove empty pcaps that don't match. Use stat to get the file size 
    if [ "$(stat -c "%s")" = 24 ]; then 
      rm -f "temp/$DATESTAMP/$file" 
    fi 
    ) & 
    job_count=$((job_count+1)) 
    if [ "$job_count" -gt "$max_jobs" ]; then 
     wait 
     job_count=0 
    fi 
done 
wait