Как остановить индексирование поисковой системы страницы обслуживания

Question

Мне нужно настроить страницу обслуживания для веб-сайта, на котором я запущен, например. для отображения, когда я выполняю обслуживание сайта (запланированное время простоя) или если что-то действительно ломается, и мне нужно выставить холдинг-страницу.

Есть ли что-то особенное, что мне нужно сделать, чтобы поисковые роботы не индексировали его и не думали, что это мой сайт. Или я должен сделать 404, добавить временный файл robots.txt или что-то еще? Я в основном не хочу, чтобы они индексировали его как мой сайт, но я также не хочу, чтобы они думали, что мой сайт мертв и не вернулся.

Edit: Вот что я сделал в Apache:. ErrorDocument 503 /.server-maintenance.html RewriteEngine На RewriteRule^Сервер-maintenance.html/сервер-обслуживание Перенаправление 503/сервер технического обслуживания сильный текст

Answer 1

Вы должны отправить 503 Service Unavailable код статуса HTTP, а не 404. Используйте это вместе с заголовком Retry-After, чтобы сообщить роботам о возврате.

Answer 2

Вы можете использовать robots.txt

http://www.robotstxt.org/

Кроме того, Google имеет валидатор в своих веб-мастеров инструментов.

https://www.google.com/webmasters/tools/

Answer 3

Другим подходом было бы не связывать страницу обслуживания с любой другой страницы вашего веб-сайта (или любого другого веб-сайта).

Answer 4

Возврат 503 Service Unavailable сообщает ботам Google вернуться позже. Существует Google support page, описывающий коды ошибок HTTP и способы их интерпретации.

Вы также можете использовать Retry-After response header, чтобы предложить минимальное время, после которого ваш сайт будет повторно проверен на наличие.