Например, если это установлено в настройках Apache: <IfModule mod_headers.c>
Header set X-Robots-Tag "noindex, nofollow"
</IfModule>
и это установлено в файле robots.txt: User-agent: *
Allow:
У меня возникли трудности с определением того, что заставляет мой сайт загружаться очень медленно, я нашел что-то, но архивы google не дают правильного ответа или даже объяснения. В моих журналах сыры
Я использовал Disallow: /*?
в файле robots.txt, чтобы запретить все страницы, которые могут содержать «?» в URL. Правильно ли это синтаксис, или я блокирую другие страницы?
Я создаю файл robots.txt. Но я немного не уверен в том, как запретить Googlebot-Image. Я хочу разрешить бот Google сканировать мой сайт, за исключением запрета, который я сделал ниже. Это то, что я сд