Robots.txt в корневом каталоге, будет ли это переопределять метатег или метатег переопределит файл robots.txt?

Question

Я не хочу, чтобы поисковые системы индексировали мой сайт, поэтому я поместил robots.txt в корневой каталог; будет ли это переопределять метатег или метатег переопределит файл robots.txt?

Причина, по которой задается этот вопрос, заключается в том, что некоторые страницы могут содержать метатег, указывающий роботам, чтобы индексировать, следовать, однако я переместил сайт на имя поддомена. Я все еще настраиваю сайт до того, как он появится в прямом эфире чтобы заменить старый сайт, и я не хочу, чтобы удалить все метатеги, сообщающие роботам, чтобы их индексировать, после этого, когда сайт готов заменить метатег, сообщающий роботам индексировать, следуйте за этим, я думаю, что robots.txt является самым быстрым, простым и не изменяет сайт, кроме того, что роботы не индексируют, и следите, если это то, что я в текстовом файле.

Answer 1

Ну, если robots.txt запрещает сканирование каталога, содержащего документ, то, по-видимому, они никогда не попадут в документ, поэтому проблем нет.

Если в HTML-ссылке есть атрибуты «follow», робот будет ставить в очередь эти URL-адреса для обхода, но затем, когда он на самом деле пытается обходить, он увидит блок в файле robots.txt и не сканирует.

Короткий ответ: robots.txt предотвратит следование поисковым роботом после ссылки, независимо от того, где она получила эту ссылку или какие атрибуты были связаны с этой ссылкой, когда она была найдена.