Разве Googlebot и другие пауки всегда тянут последний контент?

Question

Я понимаю, используя следующие мета-теги предотвратит кэширование для веб-браузеров, но не для прокси-серверов:

<META HTTP-EQUIV="PRAGMA" CONTENT="NO-CACHE"> 
<META HTTP-EQUIV="CACHE-CONTROL" CONTENT="NO-CACHE"> 

Однако, используя заголовки кэша на стороне сервера предотвратит кэширование полностью.

Мои страницы - это простые .html-файлы, а не динамические (например, не .php). Если я использую вышеуказанные метатеги, считая, что прокси-серверы могут кэшировать страницы, робот Googlebot и другие пауки всегда будут вытаскивать последний контент моего сайта, или они могут не вытащить последний контент, так как я не устанавливаю серверные заголовки на сервере?

Answer 1

Использование метатегов или заголовков HTTP ничем не отличается как бот, они предназначены для передачи предложения запрашивающему агенту. Если агент (бот Google или прокси) настроен на соблюдение протокола, ваши страницы не будут кэшироваться.

Однако имейте в виду, что существуют некоторые гибкие возможности, и оба прокси-сервера и боты SE могут реагировать иначе, хотя вы просили не кэшировать страницу.

Вы должны помнить, что область действия Google заключается в индексировании страницы, и пока они могут сканировать это, это может быть сделано с тегом кэша или без него, хотя препятствие для сохранения кэша может привести к некоторому усложнению их стороны.