Solr: Исключение определенных тегов HTML или включение только определенных тегов в индексы

Question

В настоящее время я использую Solr-Cell, чтобы захватить содержимое нескольких html-страниц и проиндексировать их. Проблема в том, что у меня есть меню в заголовке, которое отображается на всех страницах. Это меню и все его элементы отображаются в результатах поиска. Я не хочу, чтобы это индексировалось.

Как бы вы это сделали?

Можно ли исключить определенный DIV (с именем класса или id)?

Answer 1

Фактически, если вы выполните тест, вы увидите, что способ, которым Tika используется в Solr, он удаляет большую часть HTML, включая атрибуты div и классов и ids.

Таким образом, вы не сможете получить необходимую гранулярность и, возможно, вам нужно использовать что-то вроде RegexReplaceProcessorFactory UpdateRequestProcessor для удаления нежелательных частей путем сопоставления с чистым текстом.

Если вы вызвали Tika непосредственно из своего кода, у вас есть больше контроля над ним и вы можете установить IdentityHtmlMapper, чтобы не выполнять фильтрацию HTML.