Каков самый быстрый способ скопировать большое количество путей к файлам, упомянутых в текстовом файле, из одной директории в другую

Question

У меня есть текстовый файл с большим количеством путей к файлу. Мне нужно скопировать все эти файлы из исходного каталога (указанного в пути в файле по каждой строке) в целевой каталог.

В настоящее время, в командной строке я попытался это

while read line; do cp $ line dest_dir; done < my_file.txt 

Это, кажется, немного медленно. Есть ли способ распараллеливать все это или ускорять его?

Answer 1

Вы можете попробовать GNU Parallel следующим образом:

parallel --dry-run -a fileList.txt cp {} destinationDirectory 

Если вам нравится то, что он говорит, удалить --dry-run.

Answer 2

Вы могли бы сделать что-то как следующее (в выбранной оболочки)

 

    #!/bin/bash 

    BATCHSIZE=2 

    # **NOTE**: check exists with -f and points at the right place. you might not need this. depends on your own taste for risk. 
    ln -s `which cp` /tmp/myuniquecpname 

    # **NOTE**: this sort of thing can have limits in some shells 
    for i in `cat test.txt` 
    do 

    BASENAME="`basename $i`" 

    echo doing /tmp/myuniquecpname $i test2/$BASENAME & 

    /tmp/myuniquecpname $i test2/$BASENAME & 

    COUNT=`ps -ef | grep /tmp/myuniquecpname | grep -v grep | wc -l` 

    # **NOTE**: maybe need to put a timeout on this loop 
    until [ $COUNT -lt $BATCHSIZE ]; do 

    COUNT=`ps -ef | grep /tmp/myuniquecpname | grep -v grep | wc -l` 
    echo waiting... 
    sleep 1 

    done 

    done