Нужно ли иметь файл robots.txt, если заголовок x-robots установлен на noindex, не следует?

Question

Я пытаюсь предотвратить мой сайт от индексации/в списке:

Я установил в .htaccess:

Header set X-Robots-Tag "noindex, nofollow" 

Это также необходимо установить robots.txt?

User-agent: * 
Disallow:/

Есть ли какой-либо вред при добавлении файла robots.txt?

Answer 1

Найдено ответ, если есть набор X-Robots-Tag, я должен удалить любой ползать в robots.txt запрещает:

Роботы мета-теги и заголовки HTTP X-Robots-Tag обнаруживаются при URL сканируется. Если страница не разрешена при сканировании файла robots.txt , то любая информация об индексации или обслуживании директив не будет найдена и поэтому будет проигнорирована. Если необходимо соблюдать директивы индексирования или обслуживания , то URL-адреса, содержащие , не могут быть запрещены из-за обхода.

через: https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag#combining-crawling-with-indexing--serving-directives