2015-11-13 5 views
0

У меня есть установка Magento, и я хочу исключить страницу режима ограничения конфиденциальности cookie-файла из Google. В моей robots.txt я установил следующий код:Robots.txt запрещает определенную страницу не работает

Disallow: /enable-cookies/ 
Disallow: /customer-service/ 
Disallow: /privacy-policy-cookie-restriction-mode/ 

Когда я анализируем свой веб-сайт с SemRush я получаю дублируются содержанием этой страницы и Disallow istruction не похож на работу.

Любые советы?

+0

Я голосующий, чтобы закрыть этот вопрос как не относящийся к теме, потому что Stack Overflow является [связанным с программированием] (http://stackoverflow.com/help/on-topic) сайтом Q & A. Ваш вопрос не в программировании. Возможно, вам стоит разместить его на http://magento.stackexchange.com? – Enigmativity

ответ

0

Посмотрите на эту Google Справка Страница:

https://support.google.com/webmasters/answer/66359?hl=en

Google не рекомендует блокировать доступ гусеничный дублировать содержание на вашем сайте, то ли с помощью файла robots.txt или другими методами. Если поисковые системы не могут сканировать страницы с дублирующимся контентом, они не могут автоматически обнаружить, что эти URL-адреса указывают на один и тот же контент, поэтому , следовательно, должны будут обрабатывать их как отдельные уникальные страницы .