Передача изображений (или больших файлов) через очереди сообщений

Question

То, что я пытаюсь выполнить, - это создание простейшей системы для обработки загрузки изображений через очереди сообщений.

В настоящее время мы работаем с временными файлами, мы создаем по одному для каждого изображения, которое необходимо отправить по Aws S3, и оптимизировать/настроить его в зависимости от наших потребностей. Как только все это будет сделано, мы подтолкнем его к S3.

Теперь это работает, но есть накладные расходы файловой системы, которые я хотел бы удалить, используя кодировки base64 изображения, что делает процесс полностью отделенным от системы, в которой работает приложение.

Поскольку мы собираемся использовать Amazon SQS (в настоящее время мы используем Beanstalkd на производстве), их служба не позволяет загружать более 256 килобайт полезной нагрузки в очередь, и это проблема, поскольку изображения довольно тяжелые.

Какие решения по-прежнему доступны для изучения?

Answer 1

Вы можете посмотреть разбивку файла на подходящие размеры сообщений, в этом случае 256 КБ, пометить сообщения соответствующими номерами последовательностей и поставить в очередь. На другом конце приема сообщения повторно собирают сообщения в порядке и записывают в файл или выводят данные изображения на дальнейшие этапы вашего решения.