AWS S3 Синхронизация очень медленная при копировании в большие каталоги

Question

При синхронизации данных с пустым каталогом в S3 с использованием AWS-CLI это почти мгновенно. Однако при синхронизации с большим каталогом (несколько миллионов папок) требуется очень много времени, прежде чем начать загрузку/синхронизацию файлов.

Есть ли альтернативный метод? Похоже, что он пытается учесть все файлы в каталоге S3 до синхронизации - мне это не нужно, и загрузка данных без предварительной проверки будет прекрасной.

Answer 1

Команде sync необходимо будет перечислить все файлы в ведре, чтобы определить, существует ли локальный файл в ведре и если он совпадает с локальным файлом. Чем больше документов у вас в ковше, тем дольше это будет сделано.

Если вам не нужен этот sync поведение просто использовать команду рекурсивного копирования, как:

aws s3 cp --recursive . s3://mybucket/ 

и это должно скопировать все локальные файлы в текущем каталоге с ведром в S3.