robots.txt

-2зной

1ответ

Разрешить и Disallow в robots.txt

http://www.robotstxt.org/orig.html говорит: Disallow:/помощь как /help.html запрещает и /help/index.html Теперь google.com/robots. TXT перечисляет: Disallow: /search Allow: /search/about После запу

robots.txt 2016-04-11

---

0зной

1ответ

Reppy ведет себя странно с определенными записями

Я тестировал Reppy с google.com.robots.txt, но с определенными записями это немного пошло. Ниже перечислены: Disallow: /alerts/, здесь должно быть False. Allow: /alerts/$, должен получить True здесь.

python robots.txt 2016-04-19

---

0зной

1ответ

Как избежать поиска в поисковой системе, особенно на веб-сайте в Sitecore multisite enviroment

Мы реализовали многоуровневое решение в проекте sitecore. Мы разместили robots.txt в корневом каталоге веб-сайта, чтобы предотвратить сканирование для определенного каталога на сервере Production. Теп

web-crawler sitecore robots.txt multisite sitecore8.1 2016-04-24

---

0зной

1ответ

Где разместить файл robots.txt на сервере причала?

Я недавно начал проверку уязвимостей безопасности нашего веб-приложения с помощью инструмента Zap. После запуска я наткнулся на то, что я должен включить файл robots.txt, а также в наш webapp. Инструм

jetty robots.txt embedded-jetty 2016-04-29

---