s3fs и Python os.walk

Question

Я пытаюсь выяснить способ чтения изображений из ведра S3. Прямо сейчас моя настройка заключается в том, чтобы смонтировать ведро с помощью s3fs, а затем использовать скрипт python с os.walk, чтобы пройти через каждое отдельное изображение и сделать некоторые манипуляции с ними с помощью numpy.

Однако выход

os.walk("mnt/") 

ничего! Команда не видит никаких файлов на установленном диске, хотя, если я вручную найду изображение

plt.imread("mnt/path/to/file") 

Получаю изображение. Я нахожусь на своем пути, пытаясь понять это. Есть идеи?

Answer 1

Установленный ковш из S3 не ведет себя как обычный файл/каталог в вашей файловой системе, поэтому утверждения, подобные os.walk, не будут работать так, как вы ожидали. Лучше всего использовать библиотеку для поиска и взаимодействия с веером S3 из самого Python.

Я рекомендую смотреть в boto, у которого есть куча инструментов для взаимодействия с AWS. Также ознакомьтесь с SDK AWS Python.

Boto: https://github.com/boto/boto AWS SDK для Python: https://aws.amazon.com/sdk-for-python/