Datatables большие данные json с «интеллектуальным поиском», или с серверной частью с регулярным выражением, или с лучшим подходом?

Question

Я строю это приложение для Библии с Datatables.

Моя проблема в том, что данные большие. Всего около 500 МБ. Это всего около 32 000 строк, но это абзацы текста с тяжелой разметкой html/css.

Поиск должен быть «интеллектуальным поиском» (частичное совпадение слов).

Похоже, что есть 2 возможных вариантов для хранения данных:

1. я могу иметь данные жить в таблице MySQL. Я знаю, как реализовать обработку на стороне сервера, но я не знаю, как реализовать поиск в регулярном выражении. Это было сделано успешно несколькими способами: https://datatables.net/forums/discussion/3343/server-side-processing-and-regex-search-filter/p1 (я не знаю, достаточно php, чтобы понять, как это сделать).

2. Я могу иметь данные в одном или даже нескольких json-файлах. Затем попросите пользователя загрузить все один раз в локальное хранилище. Затем выполните Datatables интеллектуальный поиск в обычном режиме. Я не уверен, что поиск будет хорошим. Я пробовал это офлайн, загружая только 50 МБ, и поиск уже довольно медленный. (Опять же, мои знания в программировании очень ограничены).

Пожалуйста, смотрите и не стесняйтесь направлять меня в правильном направлении :)

http://torah.byethost14.com/AdminLTE-master/pages/tables/_talmidimEdition.html

Answer 1

"Тяжелое HTML/CSS разметка"? Будете ли вы искать html-теги? Возможно нет. Итак ...

Есть еще один столбец, который является чистым текстом - без разметки, без html, no css, даже номера стихов. (Номер книжного стиха, вероятно, должен быть в отдельных столбцах.)

Затем добавьте индекс FULLTEXT в этот чистый текстовый столбец. Помните об ограничениях полного текста.

REGEXP работает медленно и всегда будет проверять все строки таблицы.

Есть также несколько полнотекстовых поисковых систем, которые можно добавить в MySQL. (У меня нет рекомендаций относительно того, применимы ли они для вашего приложения.)