Быстрый доступ к данным Amazon AWS

В последнее время мы начали запускать сервер сайта (используя узел и mongodb) на Amazon AWS EC2. Веб-сайт предназначен для запуска алгоритмов проверки данных 3D-модели, размер которых может составлять до 100 МБ.Быстрый доступ к данным Amazon AWS

В качестве функции мы собираемся предоставить объем хранилища и систему управления для этих моделей. Пользователь должен получить список уже загруженных моделей при входе в систему и иметь возможность быстро повторно запускать алгоритмы при желании.

Как такой сценарий лучше всего подходит для работы на EC2 Amazon? Какое хранилище данных лучше всего подходит для больших размеров файлов и быстрого извлечения файлов? Является, например, возможно хранение в базе mongo/хорошая идея?

источник

2017-01-13 user2416984

Вы можете изучить S3 Buckets – Set

Благодарим за подсказку. Кажется, именно то, что нам нужно! – user2416984

S3 звук осуществим. Но «быстро повторите алгоритмы, если хотите», немного странно. Если алгоритм не изменится, в противном случае нет необходимости повторно запускать какую-либо проверку, требующую обработки ЦП. – mootmoot

Вы можете использовать S3 Ведра

Amazon Simple Storage Service (Amazon S3) является хранение объекта с помощью простого интерфейса веб-службы для хранения и получения любого количества данных из любого места в Интернете. Он предназначен для обеспечения прочности 99,999999999% и масштабирования прошлых триллионов объектов по всему миру

Amazon S3 хранит данные как объекты в ресурсах, называемых «ведрами». Вы можете хранить столько объектов, сколько хотите, в ведро, а также записывать, читать и удалять объекты в своем ковше. Объекты могут иметь размер до 5 терабайт.

источник

2017-01-13 09:24:26 Set

Я предлагаю вам подключить некоторые тома SSD (gp2) общего назначения к экземпляру EC2 (read more). Таким образом, вы получаете недорогое хранилище вместе с приемлемым (в зависимости от вашей потребности, но, по-видимому, достаточным в вашем случае). Если вам нужна более высокая производительность, вы должны кэшировать свои файлы в памяти. В любом случае следует учитывать масштабируемость.

Если вам нужна масштабируемость, перейдите на S3. Но это будет медленнее и, конечно же, дешевле.

источник

2017-01-13 09:16:27 Mahdi

«Медленнее» несколько субъективно. Самым большим ограничивающим фактором, вероятно, будет пропускная способность сети на самом экземпляре, а не на S3. Время возврата до начала ввода данных будет больше (миллисекунды для S3, микросекунды для EBS), но фактическая скорость передачи больших объектов или файлов должна быть сопоставимой. –

Я думаю, что лучший подход здесь - использовать тома EBS (GP2/SSD) и избегать использования S3, если вы хотите быстрый доступ к файлам с низкой задержкой доступа. Причина, по которой S3 не рекомендуется, заключается в том, что она является хранилищем объектов и не подключена к экземплярам EC2 через соединение с близкой связью. Хранилище блоков/EBS лучше подходит для интенсивных приложений с большими файлами, для которых требуется более быстрое время обработки, поскольку оно подключено к сети (к хранилищу EC2).

источник

2017-01-13 21:45:53

ответ

Смежные вопросы