md5 всех файлов в дереве каталогов

Question

У меня есть каталог со структурой, например, так:

. 
├── Test.txt 
├── Test1 
│   ├── Test1.txt 
│   ├── Test1_copy.txt 
│   └── Test1a 
│    ├── Test1a.txt 
│    └── Test1a_copy.txt 
└── Test2 
    ├── Test2.txt 
    ├── Test2_copy.txt 
    └── Test2a 
     ├── Test2a.txt 
     └── Test2a_copy.txt 

Я хотел бы создать Баш скрипт, который делает md5 контрольной сумму каждый файл в этом каталоге. Я хочу, чтобы иметь возможность вводить имя сценария в CLI, а затем путь к каталогу, который я хочу использовать, и заставить его работать. Я уверен, что есть много способов сделать это. В настоящее время у меня есть:

#!/bin/bash 

for file in "$1" ; do 
    md5 >> "${1}__checksums.md5" 
done 

Это просто зависает и не работает. Возможно, я должен использовать находку?

Одно предостережение - в каталогах, которые я хочу использовать hash, будут файлы с разными расширениями, и может не всегда иметь такую ​​же древовидную структуру. Я хочу что-то, что будет работать и в этих разных ситуациях.

Answer 1

Как насчет:

find /path/you/need -type f -exec md5sum {} \; > checksums.md5

Update # 1: Улучшена команда, основанную на @ twalberg-х рекомендации для обработки пробелов в именах файлов.

Update # 2: Усовершенствованные на основе @ Jil-х внушения, чтобы удалить ненужные xargs вызов и использовать -exec возможность найти вместо этого.

Update # 3: @Blake наивной реализации вашего сценария будет выглядеть примерно так:

#!/bin/bash 
# Usage: checksumchecker.sh <path> 
find "$1" -type f -exec md5sum {} \; > "$1"__checksums.md5 

Answer 2

#!/bin/bash 
shopt -s globstar 
md5sum "$1"/** > "${1}__checksums.md5" 

Объяснение: shopt -s globstar(manual) позволяет ** рекурсивный Глоб подстановочные. Это будет означать, что "$1"/** будет расширяться до списка всех файлов, рекурсивно расположенных в каталоге, заданном как параметр $1. Затем скрипт просто вызывает md5sum с этим файлом в качестве параметра, а > "${1}__checksums.md5" перенаправляет вывод в файл.

Answer 3

Использование md5deep

md5deep -r path/to/dir > sums.md5 

Использование find и md5sum

find relative/path/to/dir -type f -exec md5sum {} + > sums.md5 

Имейте в виду, что при запуске проверки на ваших MD5 сумм с md5sum -c sums.md5, вам нужно запустить его из того же каталога, из которого вы создали файл sums.md5. Это связано с тем, что find выводит пути, относящиеся к вашему текущему местоположению, которые затем помещаются в файл sums.md5.

Если это проблема, вы можете сделать абсолютное значение relative/path/to/dir (например, положив $PWD/ перед вашей дорогой). Таким образом, вы можете запустить проверку на sums.md5 из любого места. Недостатком является то, что теперь sums.md5 содержит абсолютные пути, что делает его больше.

Полнофункциональный функция с помощью find и md5sum

Вы можете поместить эту функцию в файл .bashrc (находится в вашем $HOME каталоге):

function md5sums { 
    if [ "$#" -lt 1 ]; then 
    echo -e "At least one parameter is expected\n" \ 
      "Usage: md5sums [OPTIONS] dir" 
    else 
    local OUTPUT="checksums.md5" 
    local CHECK=false 
    local MD5SUM_OPTIONS="" 

    while [[ $# > 1 ]]; do 
     local key="$1" 
     case $key in 
     -c|--check) 
      CHECK=true 
      ;; 
     -o|--output) 
      OUTPUT=$2 
      shift 
      ;; 
     *) 
      MD5SUM_OPTIONS="$MD5SUM_OPTIONS $1" 
      ;; 
     esac 
     shift 
    done 
    local DIR=$1 

    if [ -d "$DIR" ]; then # if $DIR directory exists 
     cd $DIR # change to $DIR directory 
     if [ "$CHECK" = true ]; then # if -c or --check option specified 
     md5sum --check $MD5SUM_OPTIONS $OUTPUT # check MD5 sums in $OUTPUT file 
     else       # else 
     find . -type f ! -name "$OUTPUT" -exec md5sum $MD5SUM_OPTIONS {} + > $OUTPUT # Calculate MD5 sums for files in current directory and subdirectories excluding $OUTPUT file and save result in $OUTPUT file 
     fi 
     cd - > /dev/null # change to previous directory 
    else 
     cd $DIR # if $DIR doesn't exists, change to it to generate localized error message 
    fi 
    fi 
} 

После запуска source ~/.bashrc, вы можете использовать md5sums как нормальный команда:

md5sums path/to/dir 

будет генерировать checksums.md5 файл в каталоге path/to/dir, содержащий MD5 суммы всех файлов в этой директории и подкаталогах. Использование:

md5sums -c path/to/dir 

проверить суммы из path/to/dir/checksums.md5 файла.

Отметьте, что path/to/dir может быть относительным или абсолютным, md5sums будет работать в любом случае. Результат checksums.md5 Файл всегда содержит пути относительно path/to/dir. Вы можете использовать другое имя файла, а затем по умолчанию checksums.md5, предоставив -o или --output. Все варианты, кроме -c, --check, -o и --output переданы md5sum.

Первая часть определения md5sums отвечает за варианты синтаксического анализа. См. this answer для получения дополнительной информации. Вторая половина содержит пояснительные комментарии.

Answer 4

Обновлено Ответ

Если вам нравится ответ ниже, или любой из других, вы можете сделать функцию, которая делает команду для вас. Таким образом, чтобы проверить его, введите следующую команду в терминале, чтобы объявить функцию:

function sumthem(){ find "$1" -type f -print0 | parallel -0 -X md5 > checksums.md5; } 

Тогда вы можете просто использовать:

sumthem /Users/somebody/somewhere 

Если это работает, как вы хотите, вы можете добавить эту строку в конец вашего «Баш профиль» и функция будет объявлена ​​и доступна, когда вы вошли в систему. Ваш «Баш профиль», вероятно, в $HOME/.profile

Оригинальный ответ

Почему бы не получить все ваши ядра процессора, работающие параллельно для вас?

find . -type f -print0 | parallel -0 -X md5sum 

Это находит все файлы (-type f) в текущем каталоге (.) и выводит их с нулевым байтом в конце. Затем они передаются в GNU Parallel, в котором говорится, что имена файлов заканчиваются нулевым байтом (-0) и что он должен делать как можно больше файлов за один раз (-X), чтобы сохранить создание нового процесса для каждого файла и он должен md5sum файлы.

Этот подход будет платить наибольший бонус, с точки зрения скорости, с большими изображениями, такими как файлы Photoshop.

Answer 5

md5deep -r $your_directory | awk {'print $1'} | sort | md5sum | awk {'print $1'}