Как запретить все пользовательские агенты, кроме одного агента пользователя? Например, запретить все для всех агентов пользователя, но разрешить только роботу Googlebot?Запретить все для всех агентов пользователя, кроме одного агента пользователя?
useragent: *
disallow=/
useragent: google
allow=/
Этот пример robots.txt сообщает сканерам, что если они не с Google. то предпочтительно, чтобы они не сканировали ваш сайт. В то время как google получил greenpass, чтобы сканировать что-либо на сайте.
Этот файл следует хранить по адресу: www.example.com/robots.txt.
Пожалуйста, прочитайте на robots.txt
Этот вопрос несколько дубликата: http://stackoverflow.com/questions/671491/robots-txt-allow-only-major-se – CristianHG