6
Прочитав и комментируя этот вопрос PHP Library for Keeping your site index by Google, Bing, etc, мне было интересно посмотреть на StackOverFlow's sitemap. Это вернуло ошибку 404, которую я угадываю, это просто защищенная страница, определяющая, является ли ваш индексный бот или просто не существует.Почему Yahoo Indexing Bot считается «злым»?
Это привело меня к тому, чтобы посмотреть на robots.txt для StackOverFlow. Я был удивлен, увидев комментарий «Yahoo bot is evil» вместе с парочкой других индексирующих ботов (Spinn3r и KSCrawler). Я несравнен с Spinn3r и KSCrawler, но мой вопрос в том, почему эти боты (в частности Yahoo) считаются злыми? Разумеется, любая индексация любой поисковой системы - это хорошо?