Как вычислить shasum каждого файла в tar-файле

Question

Я ищу способ вычисления значения sha-256 для каждого файла, содержащегося в файле tar. Проблема в том, что tar составляет 300 ГБ с более чем 200 000 содержащихся файлов.

Можно было бы сделать это в bash несколькими разными способами.

экстракт, а затем использовать find

tmp=`mktmp --directory extract_XXX` 
cd "$tmp" 
tar -xf "$tarfile" 
find "$tmp" -type f -exec shasum -ba 256 {} + 
cd .. 
rm -rf "$tmp" 

Этот метод плох, потому что он требует 300GB пространства пространства для работы и медленно, потому что он должен скопировать данные до вычисления суммы

Показать файл tar и вычислить отдельные суммы

tar -tf "$tarfile" awk '/\/$/ {next} {print $0}' | while read file ; do 
    sum=`tar -xOf "$tarfile" "$file" | shasum -ba 256` 
    echo "${sum%-}${file}" 
done 

Это требует меньше места на диске, но гораздо медленнее

Как я могу сделать это за один проход файла дегтя без извлечения его во временную директорию?

Я отметил это как bash и python ... Текущий код bash, но я гибкий в отношении языка.

Answer 1

Утилита tar знает свой путь: tar xvf "$tarfile" --to-command 'shasum -ba 256' Флаг -v важно, потому что tar отправляет каждый файл на стандартный ввод команды. Он выведет файл на одной строке и сумму SHA на следующий, но вы можете продолжить процесс очень легко.

EDIT: здесь полная оболочка только код для вывода SHA256s в одном файле дегтя проходят: shopt -s extglob tar xvf "$tarfile" --to-command 'shasum -ba 256' | \ while read L; do [[ $L == *" *-" ]] && echo $SHAFILE ${L:0:64} || SHAFILE=$L done Для исходного архива glibc, результат будет выглядеть следующим образом: glibc-2.24/.gitattributes c3f8f279e7e7b0020028d06de61274b00b6cb84cfd005a8f380c014ef89ddf48 glibc-2.24/.gitignore 35bcd2a1d99fbb76087dc077b3e754d657118f353c3d76058f6c35c8c7f7abae glibc-2.24/BUGS 9b2d4b25c8600508e1d148feeaed5da04a13daf988d5854012aebcc37fd84ef6 glibc-2.24/CONFORMANCE 66b6e97c93a2381711f84f34134e8910ef4ee4a8dc55a049a355f3a7582807ec

---

Редактировать по ОП:

Как однострочника это может быть сделано как:

tar xf "$tarfile" --to-command 'bash -c "sum=`shasum -ba 256`; echo \"\${sum%-}$TAR_FILENAME\""' 

Страница руководства: https://www.gnu.org/software/tar/manual/tar.html#SEC87

Answer 2

Я не знаю, как быстро она будет, но в питоне это можно сделать следующим образом:

import tarfile 
import hashlib 

def sha256(flo): 
    hash_sha256 = hashlib.sha256() 
    for chunk in iter(lambda: flo.read(4096), b'') 
     hash_sha256.update(chunk) 
    return hash_sha256.hexdigest() 

with tarfile.open('/path/to/tar/file') as mytar: 
    for member in mytar.getmembers(): 
     with mytar.extractfile(member) as _file: 
      print('{} {}'.format(sha256(_file), member.name))