Каков наилучший способ позволить пользователям загружать файлы в среду балансировки нагрузки AWS?

Question

Допустим, у вас есть экземпляр1, экземпляр2 и экземпляр3, запущенный в AWS.

Все они работают под управлением Apache, а веб-приложение, которое вы запускаете, должно позволить пользователям загружать изображения, что имеет место во многих проектах.

Также, когда вы показываете изображение, вам нужно обрезать его до нужного размера, поэтому вам в основном нужно убедиться, что все экземпляры имеют доступ к тем же файлам в любое время.

Итак, скажем, пользователь загружает изображение в экземпляр1, а другой пользователь просматривает страницу, в которой одно и то же изображение отображается в размере 100x100, и он попадает в экземпляр2. Другой пользователь пытается увидеть одно и то же изображение размером 300x300 на экземпляре3. И многие другие размеры, которые нелегко предсказуемы.

Так что вам в основном нужна распределенная файловая система, я использую Gluster FS. Таким образом, все экземпляры имеют доступ к тем же файлам, когда создается запрос на просмотр изображения, у меня есть PHP-скрипт, который проверяет, чтобы изображение уже было изменено до заданных размеров, если да, это покажет их, если оно не изменит размер это, а затем показать снова.

Gluster FS работает очень плавно, и я очень доволен этим, за исключением того, что я думаю, что я изобретаю колесо, и AWS должно иметь какое-то решение для этого. С верхней командой я вижу, что glusterfs всегда использует некоторые из моих процессоров.

Я также использую CloutFront для кэширования вывода моего сценария изменения размера, что в значительной степени снижает нагрузку на сервер, но Gluster FS по-прежнему стоит дорого работать.

Вы можете использовать rsync и какое-то задание cron, чтобы сделать то же самое без Gluster FS, но это большая работа и не очень надежная, потому что вам нужно знать, когда запускать процесс rsyncing, и вы все равно не будете получите большие преимущества, предоставляемые Gluster FS. Я также попробовал s3fs, и я просто хотел бы сказать, что это был абсолютный кошмар.

Приводы NFS также кажутся очень примитивными по сравнению с Gluster FS, я думаю, что они используют UDP, поэтому они обрабатывают ваши данные, как будто это не имеет значения.

Так что лучший способ сделать что-то подобное? Я попытался найти распределенную файловую систему, предлагаемую AWS, так как я думаю, что у многих разработчиков будут одинаковые или подобные проблемы, но их нет.

Вы можете сказать, что загружаете только s3, но s3 мне не помогает, мне нужно знать, изменилось ли изображение или нет, затем измените размер и подавайте или просто подавайте, поэтому мне нужно что-то, что я могу написать скрипт для.

Вы также можете сказать, а почему бы вам не изменить размер всех изображений, а затем загрузить их все s3, поэтому я не могу сделать это, что

1. Есть около 1 миллионов изображений, и 100 размеров, так что вы мы ищем объявление гигантское количество файлов, которые будут преобразованы
2. Там могут быть новые размеры добавляются каждый день, поэтому размер первой стратегии не работает

Answer 1

Я ПОДХОД его с 2 S3 ковши:

• Основное изображение: загружать изображения в исходное разрешение/наилучшее разрешение, используемое на сайте, без истечения срока действия.
• Cache bucket: создавать изображения по требованию, вы можете использовать timthumb, чтобы создать их с требуемыми размерами и установить время истечения.

Когда пользователь запрашивает изображение, которое вы проверяете, существует ли в кэше, иначе вы его создадите, сохраните в кэше и отправьте его оттуда.

соображения:

• Берегись с timthumb, старые версии имеют проблемы безопасности, вы можете проверить наличие альтернатив.
• Squid-кэш тоже может помочь, вы можете заменить ведро кэша с другим экземпляром ec2 с ним

Это только мой, но чувствует Подход свободно ответить и понять его глубже