stormcrawler

0зной

1ответ

Конфигурация гусеничного шторма с Tika для рекурсивных обходов

Я хочу включить парсер tika в мою топологию. Я установил jsoup.treat.non.html.as.error как false в конфигурации, и я установил топологию tika, как описано в документации бури. Настройки топологии полз

1зной

1ответ

Приоритет рекурсивного сканирования в Storm Crawler

При обходе во всемирной паутине я хотел бы дать моему поисковому роботу начальный список URL-адресов - и ожидал, что мой искатель автоматически «обнаружит» новые семенные URL-адреса из Интернета во вр

0зной

1ответ

Есть ли ограничение на переадресацию в StormCrawler?

Я могу увидеть тег _redirTo в статусе индекса ElasticSearch. Несколько вопросов относительно перенаправления следующим образом: Любой предел перенаправления? так что он не должен заканчиваться в петле

0зной

1ответ

Сканирование с использованием Storm Crawler

Мы пытаемся реализовать Straw Crawler для обхода данных. Нам удалось найти подзаголовки с URL-адреса, но мы хотим получить содержимое из этих подъязыков. Мне не удалось найти много ресурсов, которые п

0зной

1ответ

Параллельная обработка нового домена/URL-адреса, вставленного в StormCrawler с использованием ElasticSearch

Я использую StormCrawler для Live Crawling. Я вставляю домен в ElasticSearch, и искатель отлично сканирует, я определил предел обхода URls для каждого домена (используя Redis в SimpleFetcherBolt). Сце

2зной

1ответ

Storm Crawler - сканирование веб-сайтов, требующих аутентификации

Я хотел бы сканировать веб-сайты, для которых требуется авторизация (у меня уже есть учетные данные) в интрасети с помощью Storm Crawler. Можно ли это сделать, просто изменив конфигурацию искателя или