рассказывающих боты поисковых систем ждать

Question

Короткого рассказа:
Моего сайт предварительно генерируют страницы на основе пользователей занесены данные, иногда этот кэш должен быть очищен, когда это произойдет, это будет убить super computer если я не контролирую количество статистики являюсь сгенерированный сразу.

Проблема:
Теперь приходит поисковую систему роботов, которые поражают сайт постоянно (из-за огромное количество страниц, его симпатичных константы, что поисковые системы бот ползать). Проблема здесь в том, что они будут использовать все мои «сгенерированные» слоты, а у реальных пользователей останется страница с надписью «bla bla, please wait».

Возможное решение:
Могу ли я поясню вернуть 503 ботами, не имея их дать мне отрицательный рейтинг за то, что нестабильный сайт?
Или кто-то придумал какое-то другое решение?

Answer 1

Насколько критически важно, что кеш очищается немедленно? Если ваш кеш поддерживает его, вы можете вместо этого пометить все кэшированные страницы как «грязные» и восстановить их при посещении реального пользователя; если бот посещает тем временем, подавайте им устаревшую страницу.