Запретить Googlebot индексировать страницу при разрешении доступа

Question

В приложении angularjs я использую фрагмент, например /fragments/welcome-1.html, который отображается в виде части /welcome. Я думал, я мог бы исключить его из поиска Google с помощью

Disallow: /fragments 

в robots.txt, но она полностью предотвращает доступ Googlebot и поэтому страница /welcome не может отображаться неправильно.

Очевидно, что я не могу этого сделать, но как я могу обеспечить, чтобы Google мог получить фрагмент, и он не будет индексировать его? Обратите внимание, что это не настоящий HTML, просто часть тела, поэтому я не могу использовать тег meta.

Answer 1

Я только что нашел X-Robots-Tag и служу все страницы из /fragments с помощью

X-Robots-Tag: googlebot: noindex 

Давайте посмотрим, если это действительно работает.

Answer 2

Я не думаю, что это проблема с угловыми вопросами или может быть разрешена с угловым. У меня была аналогичная проблема с ботом. У меня есть папка, в которой размещаются несколько веб-сайтов. Я разрешаю его в консоли Google Analytics, после проверки и мониторинга вашего домена в меню под индексом Google есть опция удаления URL-адресов. Просто поместите все URL-адреса, которые вы не хотите индексировать Google.

https://www.google.com/analytics/