Проблемы с пониманием блокировки некоторых URL-адресов на robot.txt

Question

Проблема в этом. У меня есть несколько URL-адресов в системе у меня есть, что есть эта картина

http://foo-editable.mydomain.com/menu1/option2 
http://bar-editable.mydomain.com/menu3/option1 

Я хотел бы указать в файле robot.txt, что они не должны сканироваться. Тем не менее, я не уверен, правилен ли этот шаблон:

User-agent: Googlebot 
Disallow: -editable.mydomain.com/* 

Будет ли он работать так, как я ожидал?

Answer 1

Вы не можете указать домен или поддомен из файла robots.txt. Данный файл robots.txt применяется только к субдомену, из которого он был загружен. Единственный способ заблокировать некоторые поддомены, а не другие - предоставить другой файл robots.txt для разных поддоменов.

Например, в файле http://foo-editable.mydomain.com/robots.txt вы бы:

User-agent: Googlebot 
Disallow:/

И в http://www.mydomain.com/robots.txt вы могли бы:

User-agent: * 
Allow:/

(или вы могли бы просто не иметь файл robots.txt на субдомене www)

Если ваша конфигурация не позволит вам поставлять различные робо ts.txt для разных поддоменов, вы можете изучить альтернативы, такие как метатеги роботов или заголовок ответа X-robots-tag.

Answer 2

Думаю, вам нужно закодировать это так.

User-agent: googlebot 
Disallow: /*-editable.mydomain.com/ 

Там нет никакой гарантии, что любой бот будет обрабатывать asterisk as a wild card, но я думаю, что Googlebot делает.