Как написать Robots.txt для этих ссылок wordpress для остановки доступа к ним «page.php? Lougout»

Question

Привет, у меня есть сайт для прессы на английском языке. Я сделал некоторые настройки, которые показывают ботовую страницу, показывающую множество ошибок сканирования страниц. ошибки, упомянутые ниже.

страница Ошибка ссылки примером являются

URL Ошибки

page3/wp-login.php?action=logout 
    page2/wp-login.php?action=logout 
    page1z/wp-login.php?action=logout 
    ... to n pages 

я использовал этот robot.txt код

Disallow: /logout/ 

но сейчас работает.

Answer 1

Возможно, вы захотите добавить User-agent: * в начале. Вот как выглядит мой robots.txt. Google не читает их на моем сайте

User-agent: * 
Disallow: /wp-admin/ 
Disallow: /wp-admin/ 
Disallow: /trackback/ 
Disallow: /xmlrpc.php 
Disallow: /feed/ 
Sitemap: http://example.com/sitemap.xml 

Но глядя журнал ошибок, похоже, это не может быть Google или любой хороший гусеничный. Плохие сканеры, не заботятся о robots.txt. Что вы можете сделать, это добавить некоторые страницы в файле robots.txt, как Disallow и регистрировать информацию, как (IP-блоки, агент пользователя и заголовок) из гусеничных (например, в приманке), а затем вы можете запретить их, как это

order allow,deny 
deny from xx.xxx.xx.xx 
deny from yy.yy.yyy.yy 
deny from zzz.zz.z.zz 
allow from all 

Или красивое перенаправление на несуществующий сайт, подобный этому,

#bad bots 
RewriteEngine on 
RewriteCond %{HTTP_USER_AGENT} ^BadBot [OR] 
RewriteCond %{HTTP_USER_AGENT} ^EvilBotr [OR] 
RewriteCond %{HTTP_USER_AGENT} ^FakeBot 
RewriteRule ^(.*)$ http://byecrawler.com/ #non-existent site