Использование Lucene как реляционной базы данных

Question

Мне просто интересно, можем ли мы достичь некоторых возможностей РСУБД в lucene.

Пример: 1) У меня есть 10 000 проектных документов (pdf-файлов), которые необходимо проиндексировать с их содержимым, чтобы сделать их доступными для поиска. 2) Каждый документ относится к ОДНОМУ ПРОЕКТУ. Проект может содержать такие данные, как название проекта, номер, дата начала, дата окончания, местоположение, тип и т. Д.

Я должен искать в содержимом pdf-файлов для данного ключевого слова, но при отображении результатов я хочу отображать метаданные проекта, как указано в пункте (2).

Моя идея - связать поле под названием projectId с каждым файлом PDF при индексировании. Как только мы получим это, мы снова начнем поиск поиска для получения метаданных проекта.

Таким образом, мы могли бы избежать дублирования данных. Кроме того, если мы хотим обновить метаданные проекта, мы закончим обновление только на одном месте. В противном случае, если мы сохраним эти метаданные со всеми индексами pdf douce, мы закончим обновление всех документов, чего я не ищу.

сообщите пожалуйста.

Answer 1

Если я вас правильно понимаю, у вас есть два вопроса:

1. Могу ли я хранить идентификатор проекта в Lucene и использовать его для дальнейших поисков? Да, ты можешь. Это обычная практика.
2. Могу ли я использовать этот идентификатор проекта для поиска Lucene для метаданных проекта? Да, ты можешь. Я не знаю, хорошая ли это идея. Это зависит от частоты ваших обновлений метаданных и вашего шаблона доступа. Если метаданные относительно статичны, и вы получаете доступ к ней только по id, Lucene может быть хорошим местом для ее хранения. В противном случае вы можете использовать идентификатор проекта в качестве первичного ключа в таблице базы данных, что может быть лучше подходит.

Answer 2

Звучит как совершенно хорошо. Единственное ограничение, которое у вас есть (путем хранения ссылки на проект в Lucene, а не на самих данных проекта) заключается в том, что вы не сможете одновременно запрашивать текст документа и метаданные проекта. Например, "documentText: foo ИЛИ имя_проекта: bar". Если у вас нет такого требования, похоже, что хранить идентификатор в Lucene, который ссылается на строку базы данных, - это то, что нужно сделать.

Answer 3

Я не уверен в вашей общей настройке, но, возможно, Hibernate Search для вас. Это позволит вам объединить преимущества реляционной базы данных с мощью полнотекстового поискового движка, такого как Lucene. Метаданные могут жить в базе данных, возможно, вместе с оригинальными документами PDF, в то время как документы Lucene содержат только доступные для поиска данные.

Answer 4

Это определенно возможно. Но всегда помните о том, что вы используете Lucene для чего-то, для чего он не предназначен. В общем, Lucene предназначена для полнотекстового поиска, а не для отображения реляционного контента. Таким образом, чем сложнее ваша система, тем ваш реляционный контент становится, тем больше вы увидите снижение производительности.

В частности, есть несколько областей, чтобы держать закрыть глаза на:

• Запоминание значение каждого поля в индексе снизится производительность. Если вас не слишком интересуют результаты поиска по второму запросу или если ваш индекс относительно невелик, это может не быть проблемой.
• Кроме того, имейте в виду, что если вы не используете алгоритм ранжирования по умолчанию, а ваш пользовательский алгоритм требует информации о проекте, чтобы рассчитать оценку для каждого документа, это будет иметь огромное влияние на производительность поиска, поскольку Что ж.

Если вам нужен более мощный индекс, который был разработан для реляционного контента, есть иерархические инструменты индексации там (один разработанный Apache, названный Jackrabbit), которые стоит посмотреть в.

Поскольку ваш проект продолжает расти, вы также можете проверить Solr, также разработанный Apache, который предоставляет некоторые дополнительные функции, такие как многогранный поиск.

Answer 5

Вы можете использовать Lucene таким образом;

Плюсы:

Полнотекстовый поиск легко осуществить, что это не так в РСУБД.

Минусы:

ссылочной целостности: вы получаете его бесплатно в РСУБД для, но в Lucene, вы должны реализовать ее самостоятельно.