Почему Google Crawling не существует файла CSS?

Question

Google Bot Crawler последовательно пытается обходить CSS-файлы, которые не существуют на моем сайте в процессе производства.

Он просит:

http://www.mywebsite.com/assets/index-d45678283d4ab9905c3538184826e599.css 

Это точное имя файла не существует в производстве (есть немного другое имя файла в производстве).

Однако, CSS файл, который он запрашивает существует в развитии на:

http://localhost:3000/assets/index-d45678283d4ab9905c3538184826e599.css 

Я не знаю, почему она просит за этот файл.

Я использую Capistrano (загрузите «развернуть/активы»), чтобы предварительно скомпоновать мои активы перед развертыванием на производство.

Прямо сейчас, я просто блокирую этот файл в файле robots.txt, но файл css, который он запрашивает, изменяется после каждого развертывания.

Почему GoogleBot хочет обходить этот файл, который не существует на производственном сайте? Как остановить его?

Answer 1

GoogleBot, вероятно, увидеть один из двух вещей:

• Он видит, что файл на вашем сайте где-то, где она была ссылка неправильно - И.Е. старый код. Я бы поискал ваш живой сайт (в комплекте) для файла.
• Он запоминает этот файл из предыдущей сборки и пытается проверить его на наличие обновлений.

Меня озадачивает, что он не будет игнорировать его после ответа 404 вашего сервера, однако внутренняя работа программного обеспечения Google - это черный ящик; нет истинного способа сказать, почему он делает то, что он делает.

Тем не менее, они предлагают Webmaster Tools Panel, что позволяет сделать некоторые настройки их индексации и т.д.