Я знаю, что могу блокировать поисковые системы от доступа типов файлов с помощью джокера, как это: Disallow: /*.gif$
Это запрещает доступ к гифы, или больше как файлы, заканчивающиеся в .gif. Но ест
В настоящее время мой robots.txt является следующие #Sitemaps
Sitemap: http://www.baopals.com.com/sitemap.xml
#Disallow select URLs
User-agent: *
Disallow: /admin/
Disallow: /products/
Мои про
Я пытаюсь поместить файл robots.txt и sitemap.xml в папку .htaccess, но он не найден на веб-сайте. Пожалуйста, помогите мне, если кто-нибудь знает об этом?
Я разрабатываю приложение asp.net mvc. Я создаю файл robots.txt для моего приложения для предотвращения ботов, потому что мой текущий сайт получает много запросов роботов. Поэтому я нашел эту ссылку,