Как перебирать ведро S3 с помощью boto3?

Question

Я пытаюсь обучить нейронную сеть, где я передаю серию изображений. Я хочу, чтобы создать генератор, который проходит каждое изображение в виде массива Numpy

from skimage import io 
image_array = io.imread(url) 

Но это только для конкретной амазонки AWS URL. Я знаю, стандартным способом с использованием библиотеки Boto-то вроде этого:

s3 = boto3.resource('s3') 
s3.meta.client.download_file('mybucket', 'hello.txt', '/tmp/hello.txt') 

Но опять-таки здесь, похоже, вы указывая на определенный ресурс

Я хочу что-то вроде этого:

def my_generator(): 
    for object in s3_bucket():  # does an s3_bucket() iterator like this exist? 
     image_array = io.imread(object) 
     yield image_array 

Как я мог это сделать?

Answer 1

Вы можете сделать что-то вроде:

for key in bucket.objects.all(): 
    print(key.key)