Как сказать google, чтобы не обходить домен полностью

Question

У меня есть сайт в opencart, скажем abc.com, и я открыл несколько магазинов с ним xyz.com, и я обнаружил, что Google начал обходить xyz.com тоже, которого я не хочу. Обе домены указывают на одну и ту же директорию, поэтому я могу предположить, что может быть только один файл robots.txt. Я не очень опытен с веб-мастером Google или SEO, поэтому, пожалуйста, скажите мне, как я могу сказать google, чтобы игнорировать все URL-адреса, начинающиеся с xyz.com.

Answer 1

Если вы используете Apache и mod_rewrite вы можете добавить правила перезаписи, чтобы служить другой файл robots.txt для xyz.com:

RewriteCond %{HTTP_HOST} xyz.com$ [NC] 
RewriteRule ^robots.txt robots_xyz.txt [L] 

Затем создайте robots_xyz.txt:

User-agent: * 
Disallow:/