Я использую Perl.Найти метки на сайте HTML
У меня есть тег, например: «XYZ_PKM_HTML» Я хотел бы быть в состоянии обеспечить базовый URL, например: www.example.com и получить страницу HTML (не обязательно главной страницы , thats easy), где появляется этот тег. Возможно ли это? Есть идеи? (Или уже сделаны модули, посмотрели на CPAN, были некоторые интересные вещи, но не может быть установлен)
Спасибо,
MJD имеет расширенный пример написания паутина в Higher-Order Perl. Это раздел 4.7. См. page 187 in Chapter 4.
Конечно, вы также можете попробовать модуль WWW::SimpleRobot, который он упоминает.
Вы, кажется, хочет реализовать веб-сайт искатель и поисковый. Вы обычно делаете первый с WWW::Mechanize, а последний с HTML::Twig
Попробуйте веб-скребок в Perl. Web-Scraper module info. С этим легко работать, и вы можете искать определенные теги или элементы и получать данные от него.
Прежде всего, спасибо за ответ. Во-вторых, я уже знаком с Mechanize, но так как я никогда не реализовал искателя, мне интересно, как его решить, как я смогу пройти через все ссылки на сайт, а не другие, не связанные с ссылками на сайты (объявления и например). также, возможно ли, что он будет работать в течение некоторого времени, если на сайте много страниц, какие-либо рекомендации? – snoofkin