2
Я пытаюсь исключить некоторые страницы из индексации. У меня есть форма поиска, где вы можете использовать некоторые предопределенные параметры или пользовательские запросы. Мне нужно заблокировать результаты поиска с запросами, предоставленными пользователем.Использование шаблона для блокировки некоторых динамических URL-адресов в файле robots.txt
Примеры URL:
example.com?adv=0&query=&r=0&woj=0&msc=&osk=&osb=&osn=# индексироваться!example.com?adv=0&query=&r=0&woj=0&msc=&osk=&osb=&osn=# этот индекс тоже!example.com?adv=0&query=**USER_QUERY**&r=0&woj=0&msc=&osk=&osb=&osn=# не указывать!
robots.txt:
User-Agent: *
Disallow: /example.com?adv=0&query=*&r=0&woj=0&msc=&osk=&osb=&osn=
Будет ли символ звёздочка работы, как я ожидаю? Google будет знать, что звездочка предназначена для связи только с параметром &query, и если этот параметр пуст, URL-адрес должен быть проиндексирован?
Обратите внимание, что у вас не должно быть пустых строк между 'User-agent' и' Disallow'. – unor
Обратите внимание, что путь URL в 'Disallow' не должен начинаться с хоста (' domain.com'). – unor
Да, это просто пример ... –