Резервное копирование на Amazon и управление версиями

Question

Мне была назначена задача резервного копирования данных из Google Storage на Amazon AWS.

Не могли бы вы объяснить, какой инструмент лучше всего подходит для этой задачи? (Мы можем использовать бесплатный инструмент Linux.)

Я также думаю об использовании управления версиями в Amazon для случая, если файл перезаписан. Из-за этого я также спрашиваю, что произойдет, если объект в версированном магазине Amazon будет перезаписан новой версией с тем же содержимым объекта (тот же файл)? Если объект перезаписывается новой версией с тем же содержимым объекта, создана новая версия или нет?

Answer 1

Если вы синхронизируете данные, вам необходимо предсказать и избежать переноса дублированного содержимого. В противном случае вы будете платить ненужные платы за пропускную способность.

S3 List Objects API v1 и v2 и List Object Versions API, все обеспечить вам размер, метки времени, и ETAG, среди прочих атрибутов, в кусках 1000 ключей или ключевых версий на запрос (разбитым на страницы). Etag - это MD5 тела для одночастных загрузок < 5 ГБ. Этаг - это MD5 конкатенированных двоичных MD5 частей, для многострочных загрузок.

Если вы перезаписываете объект с версией в S3 с полностью идентичным объектом, S3 сохраняет старую версию и сохраняет новую версию. Новая версия становится текущей версией. Оба сохраняются, и оба они выставлены на хранение для хранения.

Не могли бы вы объяснить, какой инструмент лучше

Нет, мы не делаем это здесь.

Questions asking us to recommend or find a book, tool, software library, tutorial or other off-site resource are off-topic for Stack Overflow as they tend to attract opinionated answers and spam.