Есть ли ограничение на переадресацию в StormCrawler?

Question

Я могу увидеть тег _redirTo в статусе индекса ElasticSearch. Несколько вопросов относительно перенаправления следующим образом:

1. Любой предел перенаправления? так что он не должен заканчиваться в петле перенаправления?
2. Сколько редиректов выбранного URL-адреса? Я вижу только один переадресация в теге _redirTo, который является немедленным. Не удается получить количество перенаправлений, если есть две или три переадресации URL?

Answer 1

Вы можете установить предел глубине из семени, см. MaxDepth URL filter, но не прямо на число последовательных перенаправлений.

Как вы заметили, мы отслеживаем только URL-адрес, на который перенаправлен данный документ.

Если вы хотите контролировать количество повторов, независимо от расстояния от семени, одним из способов было бы продлить или изменить MetadataTransfer или обработать повторы в рамках реализации протокола, а недостатком является то, что это не будет проверять, URL уже получен.

UPDATE Существует элемент конфигурации, называемый «redirections.allowed» со значением по умолчанию true. Я просто подтолкнул исправление для SimpleFetcherBolt, поскольку он не обрабатывался должным образом.