robots.txt

0зной

1ответ

Robots.txt читается, но не соблюдается

Это код, который у меня есть для моего искателя, я считаю, что у меня есть все компоненты, которые мне нужны, некоторые могут просто быть не в порядке, я знаю, что robots.txt читать. К сожалению, он в

python-3.x beautifulsoup web-crawler robots.txt 2015-09-06

---

0зной

1ответ

Block URI сегменты на одной странице приложения с помощью файла robots.txt

У меня есть приложение одностраничный, построенный с AngularJS показать содержание динамически из REST API на основе параметра первый URI. Как заблокировать ботов от обхода любого, кроме домашней стра

angularjs robots.txt 2015-09-07

---

1зной

2ответ

Запретить все поддомены с nginx

Как я могу запретить все поддомены в файле robots.txt с nginx? Например, я хочу просто показать: User-agent: * Disallow:/ Для всех моих поддоменов

nginx robots.txt 2015-09-07

---

0зной

1ответ

.htaccess переписать www на не-www кроме robots.txt

Работает нормально, но перенаправляет www.site.com/robots.txt до site.com/robots.txt Я стараюсь избегать перенаправления robots.txt. Что нужно добавить? RewriteCond %{HTTP_HOST} ^www\.(.*) [NC] Rewri

.htaccess robots.txt 2015-09-08

---

1зной

1ответ

Гибкость Robots.txt с доменами верхнего уровня

поэтому единственная проблема, которую я оставил для этого веб-искателя, заключается в том, чтобы, когда домен верхнего уровня изменяется, скажем, с imdb на youtube, он затем переключит robots.txt из

parsing python-3.x web-crawler python-3.4 robots.txt 2015-09-09

---

1зной

1ответ

Удалить собственный сайт из поиска google

Я пришел на этот сайт, чтобы получить помощь в последний раз, чтобы удалить мои результаты из поиска Google, включая блокирование отображения нового контента. Google admin сообщает мне, что robots.txt

google-search robots.txt 2015-09-13

---

1зной

1ответ

Google SEO предотвращает загрязнение параметров

В настоящее время мы используем prerender для сайта anguar (site.com). Но у нас есть проблема. Когда мы запускаем сайт: site.com в Google много поисковых результатов ссылок отображаются следующим обра

seo google-search robots.txt 2015-09-14

---

0зной

1ответ

Пользовательский каталог для зарегистрированных пользователей в ASP.NET Mvc-сайте

Я работаю над проектом ASP.Net MVC, в котором нет разницы в форматах URL-адресов между зарегистрированным пользователем и обычным пользователем, все они просматривают страницы, подобные этим URL-адрес

asp.net-mvc view routing seo robots.txt 2015-09-22

---

0зной

1ответ

Добавление файла robots.txt в nginx.conf

Я пытаюсь добавить в файл robots.txt файл, чтобы остановить индексирование нежелательных веб-страниц. Большинство всего, что я нашел, касается файлов Cpanel/.htaccess - apache. Я использую nginx в кач

nginx robots.txt 2015-09-24

---