Robots.txt Конкретная Исключение

Question

В настоящее время мой robots.txt является следующие

#Sitemaps 
Sitemap: http://www.baopals.com.com/sitemap.xml 

#Disallow select URLs 
User-agent: * 
Disallow: /admin/ 
Disallow: /products/ 

Мои продукты имеют много дублированного контента, как я прижаться данных от taobao.com и автоматически перевести его в результате чего много дубликата и низкой поэтому я просто запрещаю все это. Однако я вручную меняю названия на определенные продукты и повторно сохраняю их в базе данных и демонстрирую их на главной странице с правильными переводами, которые они по-прежнему сохраняют обратно до /products/ и теряются навсегда, когда я удаляю их с домашней страницы.

Мне интересно, можно ли разрешить продукты, которые я сохраняю на главной странице с обновленными переводами, по-прежнему индексируется Google или я вынужден изменить каталог обновленных вручную продуктов?

Answer 1

Некоторые боты (включая робота Google) поддерживают поле Allow. Это позволяет вам указывать пути, которые должны быть разрешены для обхода в любом случае.

Таким образом, вам нужно будет добавить линию Allow для каждого продукта, который вы хотите обходить.

User-agent: * 
Disallow: /admin/ 
Disallow: /products/ 
Allow: /products/foo-bar-1 
Allow: /products/foo-foo-2 
Allow: /products/bar-foo 

Но вместо запрещая ползет ваших страниц продукта, вы можете запретить индексацию . Затем боту по-прежнему разрешено посещать ваши страницы и следовать ссылкам, но он не будет добавлять страницы в свой индекс поиска.

Добавить <meta name="robots" content="noindex" /> на каждой странице (в head), и удалить его (или изменить его index) для каждой страницы продукта вы хотите получить проиндексированы. Также есть соответствующий HTTP-заголовок, если вам это проще.