Большого хранение данных с Geo, для частого обновления

Question

я должен выбрать большое хранилище данных для моего проекта

Он должен включать в себя Geo (широта, долгота и некоторые вычисления основаны на том, что, как расстояние от указанного места).

Данные будут обновляться очень часто. Каждую минуту я планирую обновить около 20k-80k объектов. Он будет хранить около 500 тыс. Объектов в целом. Каждой минуте я получаю набор из ~ 50 тыс. Объектов в XML. Мне нужно разобрать его и обновить существующие, а также добавить новые.

Все объекты будут уникальными на основе определенного поля. Через некоторое время мне нужно будет добавить исторические данные (каждый объект 3 недели назад, обновляется каждую минуту).

Какое хранилище вы предлагаете? Я думаю об aws redis или mongodb. Я беспокоюсь, что ppstgresql этого не сделает.

Мой проект выполнен в Django и обработка будет срабатывать с использованием сельдерея

Спасибо за любые предложения.

Answer 1

Вы можете использовать Accumulo с плагином GeoMesa.

Этот сайт поможет вам понять, как его настроить и использовать. Я попробовал это, когда работал над большими пространственными данными, и в то время он отлично работал.

Я сконфигурировал Accumulo, используя стек Cloudera, потому что он сделал настройку Accumulo простой, но вы можете установить ее самостоятельно.