Robots.txt для umbraco

Question

Интересно, есть ли по умолчанию сайт Robots.txt для веб-сайтов Umbraco (7.5). Прямо сейчас, я создал один с этими элементами. Добавить что-нибудь еще?

User-Agent: * 
Disallow: /umbraco/ 
Disallow: /umbraco_client/ 
Disallow: /css 
Disallow: /Errorpages/ 
Disallow: /scripts/ 
Disallow: /Config/ 

Answer 1

Я закончил с использованием этой

Sitemap: https://{HTTP_HOST}/sitemap.aspx 
User-agent: * 
Disallow: /aspnet_client/ 
Disallow: /bin/ 
Disallow: /config/ 
Disallow: /css/ 
Disallow: /data/ 
Disallow: /install/ 
Disallow: /masterpages/ 
Disallow: /python/ 
Disallow: /scripts/ 
Disallow: /umbraco/ 
Disallow: /umbraco_client/ 
Disallow: /usercontrols/ 
Disallow: /xslt/ 

Answer 2

Вы должны рассмотреть возможность удаления/css и/скриптов из списка. Я считаю, Google считает, что это лучше/лучше для тех, кто будет доступен.

В противном случае, возможно, поставить/установить/там, а также в качестве меры предосторожности.

Answer 3

Относно CSS & JSS проверить это: https://yoast.com/dont-block-your-css-and-js-files/. В последнее время я решил отрезать их.

Mine, всегда с экземплярами Umbraco, robots.txt файл выглядит следующим образом:

# robots.txt for Umbraco 
User-agent: * 
Disallow: /aspnet_client/ 
Disallow: /bin/ 
Disallow: /config/ 
Disallow: /data/ 
Disallow: /install/ 
Disallow: /macroScripts/ 
Disallow: /masterpages/ 
Disallow: /umbraco/ 
Disallow: /umbraco_client/ 
Disallow: /usercontrols/ 
Disallow: /xslt/ 
User-agent: Libwww-perl 
Disallow:/
Sitemap: http://{HTTP_HOST}/sitemap