У меня есть 5072,792,622 файлов каждый месяц для загрузки на сервер s3, и это дорого обошлось мне, поскольку мы используем PUT-запрос для загрузки их на сервер s3, есть ли другой способ, который я могу использовать для загрузки файлов на s3. Эти файлы нельзя загружать как zip, s3 не поддерживает распаковку на s3.Как загрузить на сервер S3 с EC2 с низкой стоимостью?
Amazon S3 pricing имеет несколько компонентов:
Ваш вопрос относится к стоимость PUT просит, которая в регионах США взимается в $0.005 per 1,000 requests.
Если вы хотите сохранить все эти файлы в качестве отдельных объектов в Amazon S3, вам необходимо будет заплатить плату PUT за каждый объект отдельно.
Если у вас есть 5 миллиардов файлов каждый месяц (действительно?), то это будет $ 25,000 в месяц в запросах PUT. (Если это всего 500 миллионов файлов, то это будет 2500 долларов США в месяц.)
Невозможно избежать этого платежа, но вы можете установить специальное соглашение о ценах с AWS, если ваши ежемесячные расходы являются значительными. Я не знаю, какой уровень «значителен», но я могу представить себе как минимум $ 100 000 в месяц в амазонок S3.
Более подробно, если вы храните много объектов, предположительно на каком-то этапе вы хотели бы получить эти объекты. При этом взимается дополнительная плата. Запросы GET начисляются в размере $0.004 per 10,000 requests. Я бы очень рекомендовал объединить несколько файлов в меньшее количество больших файлов. Это уменьшит затраты на Amazon S3 и улучшит пропускную способность данных.
Хотя S3 не поддерживает Zip-декомпрессию, любое приложение, которое вы используете для использования этих данных, может загружать Zip-файлы с S3, распаковывать их и затем обращаться к отдельным файлам. Zip-файлы также сжимают данные, поэтому ваши затраты на хранение будут уменьшены.