AWS EC2 S3 и тысячи каталогов с несколькими файлами в каждом s3cmd

Question

У меня есть десятки тысяч каталогов с несколькими файлами в каждом из них на не-AWS VPS (около 1 Тбайт данных). Я хочу переместить их все на S3.

Я могу либо закрепить их в кусках 7 ГБ, переместить (wget или что-то еще) в EC2 (8GB Ubuntu), разархивировать и s3cmd их на S3.

ИЛИ

перейти прямо к S3 из моего VPS с s3cmd каталога синхронизации?

Какой метод лучше всего подходит для повышения производительности и надежности?

Благодаря

Answer 1

Есть два фактора, которые принимают решение для меня.

1. Что такое размер avg-файла? (Тысячи небольших файлов могут занимать больше времени, чем несколько больших файлов)
2. Какое сжатие вы можете получить?

Если вы решили использовать промежуточный экземпляр, вы можете прикрепить 1 ТБ EBS тома для обработки файлов при передаче. Это добавит немного стоимости, но вам не нужно будет поддерживать громкость после завершения.