Google robots.txt Тестер для googlebot выбрасывает ошибку при Disallow: .idea

Question

Google robots.txt Тестер для googlebot вызывает ошибку на Disallow: .idea.

Однако он сообщает 0 ошибок и 0 предупреждений.

Answer 1

Ваш файл robots.txt делает содержит ошибки, но инструмент тестирования Google является их не сообщают правильно.

Во-первых, ошибки. У вас есть несколько директив, где путь не начинается с косой черты, например:

Disallow: CVS 
Disallow: .svn 
Disallow: .git 
... 

Google's robots.txt specification говорит, что это не допускается:

Значение [путь], если указано, следует рассматривать по отношению от корня веб-сайта, для которого был извлечен файл robots.txt (с использованием того же протокола, номера порта, имени хоста и доменов). Значение пути должно начинаться с «/» для обозначения корня.

Чтобы исправить это, вы должны всегда указывать путь, начинающийся с косой черты. В вашем случае, вы, вероятно, необходимо использовать специальные символы, например .:

Disallow: /*CVS 
Disallow: /*.svn 
Disallow: /*.git 
... 

не кажется, инструмент тестирования Google будет сообщать об этих как ошибки. (Красная полоса не указывает на ошибку, она просто указывает, какая директива делает блокировку.) Эти являются ошибками. Их поведение не определено, и почти наверняка не будет того поведения, которое вы хотите.