Как запретить поисковым системам индексировать диапазон текста?

Question

От the information I have been able to find so far, <noindex> должен достичь этого, создавая единый раздел страницы, скрытый от пауков поисковых систем. Но тогда также кажется, что это не выполняется многими браузерами - так что, если это так, то какую разметку следует использовать вместо/в дополнение к ней?

• Yahoo использует встроенный класс: <span class="robots-nocontent">
• Googlebot не имеет эквивалента
• Яндекс использует <noindex>
• Другие (?)?

Answer 1

Невозможно остановить клонирование от индексирования, это зависит от их автора, чтобы решить, что сканеры будут делать. Соблюдая правило, например, Yahoo Slurp, Googlebot и т. Д., У каждого из них есть свое правило, как вы уже выяснили, но им все равно зависит от того, полностью ли вы соблюдаете правила или нет - скажите, что вы установили robots-nocontent, но это часть по-прежнему индексируется и помещается в другое место, возможно, для проверки на наличие спама, незаконного материала, вредоносного ПО и т. д.

И это только для «хороших», не знаю, что будут делать плохие. Так что думайте о всех вещах noindex как о наборе руководств, а не о строгих правилах.

И единственное, что работает наверняка: если у вас есть конфиденциальные данные или вы просто не хотите, чтобы что-то индексировалось - не делайте это общедоступным.