Внеочередные заголовка HTTP X-Robots-Tag против robots.txt

Question

Например, если это установлено в настройках Apache:

<IfModule mod_headers.c> 
    Header set X-Robots-Tag "noindex, nofollow" 
</IfModule> 

и это установлено в файле robots.txt:

User-agent: * 
Allow:/

какой у кого будет приоритет?

Answer 1

Это разные инструкции, поэтому ваш запрос недействителен. Здесь файл robots.txt позволяет обходить и индексировать тег x-robots.

Хотя если бы вы показали что-то, имеющее одинаковые директивы, но в разных форматах, то это будет так, что (по крайней мере, для googlebot) будет указано наиболее ограничительное.