Загрузка файлов на s3 с помощью s3cmd параллельно

Question

У меня есть целая куча файлов на сервере, и я хочу загрузить их на S3. Файлы хранятся с расширением .data, но на самом деле это всего лишь набор jpeg, png, zips или pdf.

Я уже написал короткий скрипт, который находит тип mime и загружает их на S3, и это работает, но оно медленное. Есть ли способ сделать следующий запуск с использованием gnu parallel?

#!/bin/bash 

for n in $(find -name "*.data") 
do 
     data=".data" 
     extension=`file $n | cut -d ' ' -f2 | awk '{print tolower($0)}'` 
     mimetype=`file --mime-type $n | cut -d ' ' -f2` 
     fullpath=`readlink -f $n` 

     changed="${fullpath/.data/.$extension}" 

     filePathWithExtensionChanged=${changed#*internal_data} 

     s3upload="s3cmd put -m $mimetype --acl-public $fullpath s3://tff-xenforo-data"$filePathWithExtensionChanged  

     response=`$s3upload` 
     echo $response 

done 

Также я уверен, что этот код может быть значительно улучшен в целом :) Отзывы были бы весьма полезными.

Answer 1

Вы явно опытный в письменном виде оболочки, и очень близко к решению:

s3upload_single() { 
    n=$1 
    data=".data" 
    extension=`file $n | cut -d ' ' -f2 | awk '{print tolower($0)}'` 
    mimetype=`file --mime-type $n | cut -d ' ' -f2` 
    fullpath=`readlink -f $n` 

    changed="${fullpath/.data/.$extension}" 

    filePathWithExtensionChanged=${changed#*internal_data} 

    s3upload="s3cmd put -m $mimetype --acl-public $fullpath s3://tff-xenforo-data"$filePathWithExtensionChanged  

    response=`$s3upload` 
    echo $response 
} 
export -f s3upload_single 
find -name "*.data" | parallel s3upload_single 

Answer 2

вы можете просто использовать s3cmd-modified, который позволяет поставить/получить/синхронизации с несколькими рабочими параллельно

$ git clone https://github.com/pcorliss/s3cmd-modification.git $ cd s3cmd-modification $ python setup.py install $ s3cmd --parallel --workers=4 sync /source/path s3://target/path

Answer 3

Использование aws cli. Он поддерживает параллельную загрузку файлов, и он очень быстро загружается и загружается.

http://docs.aws.amazon.com/cli/latest/reference/s3/