0
У меня есть ситуации, когда у нас есть два кода базы, которые должны остаться нетронутыми ..Robots.txt http://example.com vs.http: // www.example.com
пример: http://example.com.
И новый сайт http://www.example.com.
старый сайт (без WWW) поддерживает некоторые унаследованного кода и имеет правило:
User-agent: *
Disallow:/
Но в новой версии (с WWW) нет robots.txt.
Является ли Google поиском старого (не WWW) файла robots.txt как его правила? И добавит
User-agent: *
Allow:/
(WWW) сторона отменяет это?
Изменение robots.txt на старой кодовой базе в настоящее время не является вариантом.