2015-07-19 3 views
0
User-Agent:* 
Disallow:/ 

User-Agent: Googlebot 
User-Agent: Googlebot-Mobile 
User-Agent: Googlebot-Image 
User-Agent: Bingbot 
Allow:/ 

Это позволяет всем 4 ботам или просто разрешить Bingbot и запретить все?Как разрешить несколько роботов в robot.txt

Редактировать Ответ может быть полезным для людей, которые забывают/не знают, как проверить robot.txt

+1

возможно дубликат (HTTP [Можно перечислить несколько агентов пользователя в одной строке?]: // StackOverflow. ком/вопросы/20294485/вне-это возможно к списку-многопользовательских-агентов-в-одной линии) –

ответ

 Смежные вопросы

  • Нет связанных вопросов^_^