Загрузить объекты S3 по списку ключей с помощью Boto3

Question

У меня есть список ключей, которые я извлекаю из кеша, и я хочу загрузить связанные объекты (файлы) из S3 без необходимости делать запрос на ключ ,

Предполагая, что у меня есть следующий массив ключей:

key_array = [ 
    '20160901_0750_7c05da39_INCIDENT_MANIFEST.json', 
    '20161207_230312_ZX1G222ZS3_INCIDENT_MANIFEST.json', 
    '20161211_131407_ZX1G222ZS3_INCIDENT_MANIFEST.json', 
    '20161211_145342_ZX1G222ZS3_INCIDENT_MANIFEST.json', 
    '20161211_170600_FA68T0303607_INCIDENT_MANIFEST.json' 
] 

Я пытаюсь сделать что-то похожее на this answer на другой SO вопрос, но изменен следующим образом:

import boto3 

s3 = boto3.resource('s3') 

incidents = s3.Bucket(my_incident_bucket).objects(key_array) 

for incident in incidents: 
    # Do fun stuff with the incident body 
    incident_body = incident['Body'].read().decode('utf-8') 

Моя конечная цель что я хотел бы избегать использования AWS API отдельно для каждого ключа в списке. Я также хотел бы избежать необходимости вытащить все ведро и отфильтровать/исправить полные результаты.

Answer 1

Я думаю, что лучшее, что вы собираетесь получить это п API вызовы, где п является количество ключей в вашем key_array. API-интерфейс amazon для s3 не предлагает много способов фильтрации на стороне сервера на основе ключей, отличных от префиксов. Вот код, чтобы получить его в п API вызовов:

import boto3 
s3 = boto3.client('s3') 

for key in key_array: 
    incident_body = s3.get_object(Bucket="my_incident_bucket", Key=key)['Body'] 

    # Do fun stuff with the incident body