robots.txt

0зной

1ответ

Google двойной дубликат защищенного http поддомена?

Мы имеем два суб доменов на одном домене, как 1) example.com (rails app) 2) blog.example.com (wordpress) 3) sendy.example.com (sendy mailer) , где (1) является домен, (2), (3) является суб домена.

0зной

1ответ

Robots.txt для двух отдельных веб-сайтов, которые разделяют один и тот же корень

Я должен сделать файл robots.txt для двух разных сайтов, но они оба находятся в одном корневом каталоге. Они такие же разные, как google.com и yahoo.com, но оба они привязаны к одному и тому же месту,

2зной

1ответ

Предотвращение Google индексирование AngularJS маршрут

Обычно, если я не хочу Google сканировать страницу, я хотел бы добавить страницу в файле robots.txt, как так: User-agent: * Disallow: /my-page Чтобы предотвратить Google индексировать эту страницу

1зной

1ответ

Как запретить поисковым системам индексировать диапазон текста?

От the information I have been able to find so far, <noindex> должен достичь этого, создавая единый раздел страницы, скрытый от пауков поисковых систем. Но тогда также кажется, что это не выполняется

0зной

1ответ

Разрушающие роботы различного назначения с 1 Директивой

Могу ли я объединить приведенную ниже директиву 2 в одну, как показано под ней, а google или bing bot по-прежнему будут следовать за моими роботами? Недавно я видел, как bingbot не следил за второй ди