Разные домены, разные языки, то же самое содержание, 1 robots.txt

Question

Я в этой ситуации:

Домены:

www.example.com 
www.example.it 

, что указывает на то же содержание на разных языках. Например .:

www.example.com/audi-car.html 
www.example.it/audi-auto.html 

и у меня есть только один robots.txt в корневых доменах.

Мой вопрос: Как установить мой robots.txt, чтобы запретить сканирование www.example.it всем ботам, исходящим от www.example.com и наоборот?

Answer 1

описательный robots.txt для каждого домена и использовать .htaccess для перенаправления robots.txt запрос, основанный на хосте, откуда пришел запрос:

RewriteCond %{HTTP_HOST} ^(.*)\.com$ [NC] 
    RewriteCond %{HTTPS}s ^on(s)| 
    RewriteRule ^robots\.txt$ /robots-com.txt [L] 

    RewriteCond %{HTTP_HOST} ^(.*)\.it$ [NC] 
    RewriteCond %{HTTPS}s ^on(s)| 
    RewriteRule ^robots\.txt$ /robots-it.txt [L] 

Убедитесь, что RewriteEngine On находится на вершине и mod_rewrite включен.