Как заблокировать субдомен, используемый для службы сокращения URL-адресов с помощью robots.txt?

Question

Скажем, мой домен example.com. На www.example.com я создал свой основной сайт (настроен с помощью Blogger) и использовал go.example.com для сокращения URL (настройка с помощью GoDaddy Shortened Service). Теперь я хочу заблокировать все URL-адреса go.example.com, чтобы они не могли быть проиндексированы.

Если я использую rel="noindex,nofollow" для go.example.com URL в моем основном блоге, то это влияет на мою поисковую оптимизацию в блоге?

Answer 1

С этой robots.txt на go.example.com, вам отклонять, соответствующие роботам ползать любой URL из этого хоста:

# https://go.example.com/ 
User-agent: * 
Disallow:/

Если вы хорошо с ползет, но вы хотите, чтобы предотвратить индексации (you can’t have both), вы должны использовать noindex (либо в элементе meta - robots, либо в HTTP-заголовке X-Robots-Tag). Обратите внимание, что вы не можете использовать noindex в качестве типа ссылки в атрибуте rel.

Сказанное: если вы всегда перенаправляете (например, с 301) от go.example.com к каноническому URL-адресу (на другом хосте), боты поисковых систем не имеют причины индексировать ваш документ на go.example.com, так как вы не предоставляете никакого контента , только перенаправление.