Как правило, что делать, чтобы отвечать на запрос поисковой машины с ошибкой

Question

Например, у меня есть действие, которое отвечает на запрос json ajax на моем сайте.

В последнее время я обнаружил много ошибок, вызванных запросом робота поисковой машины на эту конечную точку с запросом html.

Какова наилучшая практика для решения этой проблемы? Должен ли я просто отвечать с помощью формата ошибки, или я должен создать страницу только потому, что этот робот поисковой системы будет сканировать? И я использую Rails, конкретные рекомендации будут приятнее.

Большое спасибо.

Answer 1

Лучшая практика заключается в том, чтобы иметь дело с ними с вашим прокси-сервером (например, nginx). Что вы можете сделать здесь:

• создать robots.txt файл в вашем public директории и создать соответствующие правила (см here). Однако, поскольку они - просто правила, они не должны подчиняться ни одному из них.
• создать nginx правило отклонять запросы выглядящие как ботов, используя $http_user_agent, например: Blocking all bots except a few with Nginx