robots.txt

0зной

1ответ

Robots.txt: Запрещает повторные подкаталогов, но позволяют основные каталоги

У меня есть эти каталоги, есть многие из них: /dir100/media /dir200/media /dir300/media я хочу Запрещает все */медиа-каталоги , как я могу это сделать?

1зной

2ответ

Mule: приемник не найден при вторичном поиске приемника на соединителе: HTTP_HTTPS с ключом URI: https: // myhost: 443/robots.txt

У меня есть эти предупреждения, заполняющие все мои журналы. Это, кажется, вызвано гусеничном и пауков http://www.robotstxt.org/ No receiver found on secondary lookup of receiver on connector: HTTP_HT

-2зной

1ответ

Как использовать robots.txt для запрета на некоторый контроллер в Codeigniter

Я довольно новичок в теме robots.txt. Я смотрел на это несколько часов и пытался выполнить его. У меня есть контроллер с именем login и view. Все, что я хочу, это поиск в Google, чтобы отображать конт

0зной

1ответ

Как разрешить несколько роботов в robot.txt

User-Agent:* Disallow:/ User-Agent: Googlebot User-Agent: Googlebot-Mobile User-Agent: Googlebot-Image User-Agent: Bingbot Allow:/ Это позволяет всем 4 ботам или просто разрешить Bingbot и за

1зной

1ответ

Предотвращение сканеров от чтения шаблонов подчеркивания

Мне нужно правило robots.txt Disallow, которое предотвращает использование искателей из следующих тегов шаблонов, таких как теги <script type="text/template">. При обходе URL, я получаю ошибки для выг

2зной

2ответ

Как ограничить обход HTTPS в файле robots.txt для сервера IIS?

Есть ли способ ограничить обход HTTPS одной конкретной папкой в файле robots.txt на IIS? Благодарю.