9
Если я хочу только разрешить сканерам обращаться к index.php, будет ли это работать?Как разрешить сканерам доступ только к index.php, используя robots.txt?
User-agent: *
Disallow:/
Allow: /index.php
A
ответ
1
Вы можете использовать Google Robots tool для оформления заказа. Я никогда не ставил бы никаких секретных каталогов в файл robots, так как я бы предположил, что строка, подобная ниже, будет медом для определенных пауков.
Disallow: /secret
2
Попробуйте поменять порядок Disallow/Allow:
User-agent: *
Allow: /index.php
Disallow:/
Смотрите эту информацию из Википедии:
«Тем не менее, для того, чтобы быть совместимым со всеми роботов, если вы хотите разрешить одиночные файлы в каталоге, отличном от нулевого , вам необходимо сначала поместить директиву Разрешить , а затемDisallow, например:»
http://en.wikipedia.org/wiki/Robots.txt
Еще бы я не ожидал, что работать слишком последовательно
19
Да, он будет работать. Вот результат теста от Google Webmaster Tool.
Url
http://www.example.org/index.php
Googlebot
Allowed by line 3: Allow: /index.php
Googlebot-Mobile
Allowed by line 3: Allow: /index.php
Однако помните, что при такой конфигурации вашего сайта страница не будет сканироваться, если страница не доступна с полным квалифицированным путем. Иными словами, http://www.example.org/ запрещен, а http://www.example.org/index.php разрешен.
Если вы хотите, чтобы ваша страница была доступна, вот лучшая версия вашего файла.
User-agent: *
Disallow:/
Allow: /index.php
Allow: /$
+1
Не могли бы вы объяснить, почему работает/$ или что он делает? –
+0
Пояснение для '/ $' можно найти здесь [http://stackoverflow.com/a/29475539/1973409) –
3
User-agent: *
Allow: /index.php
Disallow:/
1
User-agent: *
Allow: /$
Allow: /index.php
Allow: /sitemap.xml
Allow: /robots.txt
Disallow:/
Sitemap: http://www.your-site-name.com/sitemap.xml
+3
Не могли бы вы объяснить свой ответ? – Qix
мне очень интересно, почему вы хотели бы сделать это ... не вы хотите Искатели индексировать гораздо больше вашего сайта? –