Обновление расширения для нескольких файлов сразу на Amazon S3

Question

У меня около 1 миллиона файлов на моем ведре S3, и, к сожалению, эти файлы были загружены с неправильным расширением. Мне нужно добавить расширение «.gz» для каждого файла в этом ковше.

я могу управлять сделать это с помощью AWS консоли: aws s3 mv bucket_name/name_1 bucket_name/name_1.gz

Это прекрасно работает, но скрипт работает так медленно, так как он перемещает файл один на один, в моем расчете он будет занимать до 1 недели , что неприемлемо.

Интересно, есть ли у нас лучший и быстрый способ достичь этой цели?

Answer 1

Вы можете попробовать браузер S3, который поддерживает многопоточные вызовы. http://s3browser.com/

Я подозреваю, что другие инструменты могут выполнять несколько потоков, но CLI этого не делает.

Answer 2

Нет функции переименования файлов S3/bucket, поэтому вам нужно переместить или скопировать/удалить файлы. Если файлы большие, это может быть немного медленным.

Однако ничего не мешает вам ждать завершения запроса, чтобы продолжить «переименование» следующего файла в вашем списке, просто обработайте его.