Сегодня я получил электронное письмо от Инструментов для веб-мастеров, в котором говорится, что «Googlebot не может получить доступ к файлам CSS и JS». Поэтому я решил обновить файл robots.txt, расположенный в корневом каталоге моего сервера.robots.txt Not Updating
Оригинал Содержание:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/ #<--CAUSE OF THE PROBLEM
Sitemap: http://example.com/sitemapindex.xml
Я удалил строку «Disallow:/WP-содержание/темы /» из файла и повторно закачанный файл, но когда я смотрел новый файл в браузере, ничего изменилось, то я сделал следующее:
- Удаляется файл .txt из корня
- Очищенные кэша (W3 Total Cache)
Но все же robots.txt был доступен для просмотра в моем браузере. Это может означать только одно, что файл фактически генерируется правильно? Я даже просматривал в другом браузере, чтобы обеспечить отсутствие кеширования.
После долгих поисков я не нашел ответа о том, почему мой robots.txt не будет обновляться или откуда он создается?
У кого-нибудь есть идеи относительно того, что происходит?
Некоторые плагины я использую:
- Лучше WordPress Google XML Sitemaps
- W3 Total Cache
- Yoast SEO
Любая помощь будет высоко ценится, спасибо.
На каком веб-сервере вы используете? Например, Nginx будет кэшировать статические файлы. – doublesharp
Да, у меня работает Nginx, но я никогда раньше не видел его в кеше. Любые идеи по лучшей практике, чтобы очистить его? – user1356029
Вы можете попробовать плагин Nginx Helper или запустить 'sudo service nginx reload'. – doublesharp