Spider, который бросает результаты в mysql

Question

Глядя на использование Sphinx для поиска по сайту, но не весь мой сайт находится в mysql. Вместо того, чтобы изобретать велосипед, просто интересно, есть ли открытый паук с открытым исходным кодом, который легко поддаёт свои результаты в базу данных mysql, чтобы затем Sphinx мог ее проиндексировать.

Спасибо за любой совет.

Answer 1

Существует также источник данных XML pipe, который может подавать документы в Sphinx. Не уверен, что было бы проще установить что-то, чтобы выводить содержимое вашего сайта как XML, чем было бы вставить его в БД, но это вариант.

Answer 2

Если вы не на 100% застряли на использовании Сфинкса, вы можете рассмотреть Lucerne, как этот сайт? Это должно работать независимо от базовой технологии (базы данных или статические страницы).

Я также в настоящее время ищу для реализации поиска по сайту. This вопрос может также помочь.