Поиск и заполнить в документе 6000 строк csv/json

Question

Я ищу хорошее решение для полнотекстового поиска в документе с ок. 6000 строк, по 6 столбцов.

В настоящее время я пытаюсь использовать Meteor и MongoDB, но при выполнении агрегатов я немного борюсь с высоким процессором, а время отклика pub/sub довольно медленно.

Мне нужно найти несколько слов и суммировать/заполнить числовое поле.

Какие технологии стоит искать в быстрой и простой настройке?

Answer 1

Meteor pub/sub не подходит для отправки больших наборов данных одновременно. Он скорее разработан для реактивных обновлений данных (автоматически обновляется при изменении данных).

В оптимальном состоянии эти данные отправляются маленькими кусками клиенту с помощью ленивой загрузки, с использованием лимита и по требованию.

Однако, сам Mongoldb полезен для поиска в больших наборах данных! Вы можете искать по этой теме.

Первые результаты прибегая к помощи "поиска MongoDB в большом наборе данных" вернулся эти статьи:

https://www.mongodb.com/big-data-explained

http://johnpwood.net/2011/05/31/fast-queries-on-large-datasets-using-mongodb-and-summary-documents/

Это может быть отправной точкой.

Тогда вы можете попробовать придерживаться своих поисков/агрегаций на серверной стороне метеора и вернуть только ваши результаты клиенту (используя ленивый механизм загрузки).

Что касается вашей загрузки процессора, вы можете также рассмотреть первые статьи и обойти «жадные запросы»:

https://docs.mongodb.com/manual/core/query-optimization/