Каков наиболее эффективный способ проверить, содержит ли строка другой MSSQL?

Question

Мне нужно проверить, содержит ли строка (имена файлов с полным путем) другую в MSSQL.

Мой скрипт должен проверить, находится ли файл, который мы собираемся совершить, в базе данных под определенным столбцом (сценарий предварительного подбора).

Я не могу изменить определение данных в столбце, но в настоящее время мы используем текст TEXT, и файлы разделяются символом новой строки. Я попытался использовать функцию TSQL CONTAINS, но общая производительность на самом деле не очень хорошая.

Будет ли лучше загружать все данные в массив PHP и локально локализовать компьютер?

Я не совсем уверен, что лучший способ сделать здесь.

Обновление: В базе данных содержится около 194 530 строк.

Answer 1

Главное, чтобы иметь в виду при выполнении поиска с помощью строки является то, что вы хотите чтобы ограничить длину строки, которую вы просматриваете. Прямо сейчас у вас есть несколько значений path + filename, заправленных в одну пару столбцов строки. Как я уже упоминал выше, это плохо нормировано (и является частью причины, по которой у вас возникают проблемы с поиском).

Учитывая, что вы не можете изменить схему таблицы, с которой вы столкнулись, лучшей альтернативой может быть создание структуры для работы с метаданными, которые описывают файлы, хранящиеся в определенной строке.

Например, один из вариантов может быть, чтобы создать таблицу, содержащую filename - rowID пар, где каждая строка исходной таблицы связывается с проанализированных-аут имен файлов в TEXT столбце этой строки. Это дает вам возможность ограничить поиск, сначала сделав поиск по более короткой строке (filename), а затем используя это ограничение, чтобы помочь выполнить поиск меньшего количества строк, чтобы удовлетворить комбинацию пути + имя файла и добиться уникального результата.

Если у вас есть большое количество файлов с одинаковыми именами, другой вариант может заключаться в реализации хэш-индекса, используя rowID s из вашей исходной таблицы и хэш каждого пути + имя файла из этой строки, используя CHECKSUM() или любую функцию хеширования у вас есть.

Использование таблицы индексирования, подобной этой, добавляет накладные расходы: вам необходимо поддерживать метаданные по мере обновления исходной таблицы, но это также означает, что вы делаете свой тяжелый взнос досрочно и делаете будущие запросы данных намного быстрее.

Answer 2

Как насчет использования оператора LIKE? Вы могли бы сделать что-то вроде этого

SELECT * FROM TABLE WHERE COLUMN LIKE '%' + @FilePath +'%' 

Если это не соответствует вашим потребностям, то я согласен, что бы делать это программно может быть лучше. Проблема в том, что SQL использует основанную на множестве логику, поэтому, когда вы начинаете делать что-то более процедурное (функции), оно ломается. Очевидно, что запускайте тесты, но программно вы должны быть в состоянии сделать это быстрее. Вы можете использовать регулярные выражения или содержит или все, что может быть лучше в PHP

Answer 3

Я думаю, что это будет быстрее:

SELECT TOP 1 columnname FROM tablename WHERE COLUMN LIKE '%' + @FilePath +'%'