Является ли тег noindex предотвращать сканирование ботов на странице?

Question

Если у меня была страница с тегом noindex <meta name="robots" content="noindex" />, я знаю, что страница не будет отображаться в результатах поиска.

Но будут ли ссылки на странице пополняться?

Если я хочу, чтобы их проползли, могу ли я установить что-то вроде <meta name="robots" content="noindex, follow" />. Это будет работать?

Answer 1

Тег noindex <meta name="robots" content="noindex" /> используется, чтобы запретить большинству поисковых веб-сканеров индексировать страницу на вашем сайте.

Сканеры не будут индексировать страницу с помощью значка content="noindex, follow", но будут проходить через остальные страницы.

Здесь вы можете найти более подробную информацию: http://www.robotstxt.org/meta.html