Как заблокировать Alexa и аналогичный веб-сайт для доступа к веб-сайту

Question

Мне нужно, чтобы Alexa и аналогичная сеть были полностью доступны для моего сайта. Я понимаю, что это можно сделать с помощью файла robots.txt, но насколько я знаю, этого недостаточно, и это данные коллекции с простыми расширениями или чем-то подобным.

Любые идеи или решения?

Заранее спасибо.

Answer 1

Вы должны блокировать theire ботов с robots.txt

• Alexa бот: ia_archiver

Это, как вы блокируете его:

User-agent: ia_archiver 
Disallow:/

Вам нужно найти имена всех ботов, которые вы хотите заблокировать. Это довольно просто, просто используйте поиск Google