Кэширование Cloudflare Edge, игнорирующее сканеры

Question

Я настроил кеширование края для кэширования содержимого HTML. Он отлично работает, когда ресурсы попадают либо в браузер, либо через Curl. В обоих случаях первый запрос нагревает кеш, а второй запрос обслуживается непосредственно из Cloudflare.

В моих журналах, однако, я заметил, что сканеры, такие как Bing, Yahoo и Google, похоже, не нагревают кеш.

Когда я просматриваю URL-адреса, ранее удаленные искателем в браузере или через Curl, этот последующий запрос также попадает на мой сервер-источник (по моим журналам сервера).

Является ли это вопросом размера плана (обычный или Enterprise), плохая конфигурация или пользовательские агенты для облачных поисковых роботов Cloudflare?

Answer 1

Если ваш сайт не посещен из мест, где Google обычно сканирует, в CloudFlare Cache может быть не так тепло.

В CloudFlare вы можете увидеть setting a higher Edge Cache Expire TTL, в зависимости от того, как часто поисковые системы сканируют ваш сайт; для этого вам понадобится use CloudFlare's Page Rules.

Если вы хотите что-то более на заказ, возможно, вам лучше всего обратиться к CloudFlare's Enterprise Sales team.