parallell копия ведер/ключей из boto3 или boto api между двумя разными учетными записями/соединениями

Question

Я хочу скопировать ключи из ведер между двумя разными учетными записями, используя boto3 api's. В boto3, я выполнил следующий код и копия работала

source = boto3.client('s3') 
destination = boto3.client('s3') 
destination.put_object(source.get_object(Bucket='bucket', Key='key')) 

В основном я Извлечение данных из GET и вставляя, что с PUT на другой счет.

На подобных линиях в Boto апи, я сделал следующее

source = S3Connection() 
source_bucket = source.get_bucket('bucket') 
source_key = Key(source_bucket, key_name) 

destination = S3Connection() 
destination_bucket = destination.get_bucket('bucket') 
dist_key = Key(destination_bucket, source_key.key) 
dist_key.set_contents_from_string(source_key.get_contents_as_string()) 

Приведенный выше код достигает цели копирования данных любого типа. Но скорость действительно очень медленная. Я получаю около 15-20 секунд, чтобы скопировать данные на 1 ГБ. И мне нужно скопировать 100GB плюс. Я попробовал python mutithreading, в котором каждый поток выполняет операцию копирования. Производительность была плохая, так как потребовалось 30 секунд для копирования 1 ГБ. Я подозреваю, что проблема с GIL может быть здесь. Я выполнял многопроцессорную обработку, и получаю тот же результат, что и для одного процесса, т. Е. 15-20 секунд для 1 ГБ файла.

Я использую очень высокий сервер с 48 ядрами и 128 ГБ оперативной памяти. Скорость сети в моей среде составляет 10 ГБ. Большинство результатов поиска рассказывают о копировании данных между ведрами в одной учетной записи, а не через учетные записи. Может ли кто-нибудь направить меня сюда. Является ли мой подход неправильным? У кого-то есть лучшее решение?

Answer 1

Вы должны проверить TransferManager в boto3. Он автоматически обработает многопоточную загрузку многопользовательских загрузок. См. the docs для более подробной информации.

В принципе, вам необходимо использовать метод upload_file, и TransferManager позаботится обо всем остальном.

import boto3 

# Get the service client 
s3 = boto3.client('s3') 

# Upload tmp.txt to bucket-name at key-name 
s3.upload_file("tmp.txt", "bucket-name", "key-name") 

Answer 2

Да, это неправильный подход.

Вы не должны скачать файл. Вы используете инфраструктуру AWS, поэтому для выполнения работ вам необходимо использовать эффективный обратный вызов AWS. Ваш подход тратит ресурсы.

boto3.client.copy будет выполнять эту работу лучше, чем это.

Кроме того, вы не описали то, что вы пытаетесь достичь (например, это какое-то требование к репликации?).

Поскольку при правильном понимании ваших собственных потребностей возможно, что вам даже не нужен сервер для выполнения задания: S3 События запуска Bucket, lambda и т. Д. Могут выполнять копирование без сервера.

Чтобы скопировать файл между двумя различными счет AWS, вы можете оформить эту ссылку Copy S3 object between AWS account

Примечание:

S3 представляет собой огромный виртуальный магазин объект для всех, поэтому название Ковш должен быть уникальным. Это также означает, что контроллер S3 «может выполнять много причудливой работы, подобной файловому серверу, например. репликация, копирование, перемещение файла в бэкэнд без привлечения сетевых потоков.

Пока вы настраиваете правильные разрешения/политики IAM для целевого ковша, объект может перемещаться по ведру без дополнительного сервера.

Это почти похоже на файловый сервер. Пользователь может копировать файл друг к другу без «загрузки/выгрузки», вместо этого просто создать папку с правами на запись для всех, копирование файлов с другого пользователя выполняется на файловом сервере с максимальной производительностью исходного ввода-вывода диска. Вам не нужен мощный экземпляр и высокопроизводительная сеть с использованием backend S3 copy API.

Ваш метод аналогичен попытке загрузки файла FTP с пользователя с использованием того же файлового сервера, который создает нежелательные сетевые трафики.