robots.txt

1зной

1ответ

Как избежать $ в программе robots.txt Disallow?

robots.txt обрабатывает $ как специальный символ для идентификации конца рисунка. Хотя, Googlebot является разбор некоторых hrefs из шаблонов JS внутри тегов сценария например: <a href="${object.path}

robots.txt googlebot google-crawlers 2017-01-27

---

0зной

2ответ

Запретить Googlebot индексировать страницу при разрешении доступа

В приложении angularjs я использую фрагмент, например /fragments/welcome-1.html, который отображается в виде части /welcome. Я думал, я мог бы исключить его из поиска Google с помощью Disallow: /fragm

angularjs robots.txt googlebot 2017-01-30

---

2зной

1ответ

Удаление PDF из результатов поиска

В настоящее время на моем сайте размещено несколько PDF-файлов, которые я хочу предотвратить в результатах поиска. Я посмотрел на несколько вариантов, таких как использование robots.txt, добавив NoInd

.htaccess pdf search-engine robots.txt 2017-02-03

---

1зной

2ответ

Поиск последовательной директивы «User-agent» в файле robots.txt с PHP

С PHP я хочу проверить (true/false), если в файле robots.txt есть последовательная директива «User-agent». С этим регулярным выражением, preg_match('~User-agent:\h*(?:\R|$)~i', $string) Я нашел строку

php regex robots.txt 2017-02-08

---

0зной

1ответ

Robot.txt говорит, что заблокирован, но ничего не блокирует?

Так что я пытаюсь получить Объявления на своем сайте. Он некоторое время пересматривался, поэтому я делаю кое-что, возможно, что-то блокирует ботов от ползания. Сегодня я узнал об этом, скажи мне, что

wordpress adsense robots.txt google-webmaster-tools google-search-console 2017-02-16

---

1зной

1ответ

Как читать карту сайта и его каталоги?

Я строй веб-сканер для данного конкретного сайта http://www.dictionary.com И после проверки robots.txt User-agent: * Disallow: /site= Disallow: /5480.iac. Disallow: /go/ Disallow: /audio.html/ Di

xml web-crawler sitemap robots.txt 2017-02-18

---

0зной

1ответ

Mechanize получает 403 ошибки, связанный с файлом robots.txt, но robots.txt блокирует ничего

Я получил эту ошибку, первую из рода в течение нескольких дней по-и- не выскабливание: mechanize._response.httperror_seek_wrapper: HTTP Error 403: request disallowed by robots.txt Однако роботы .txt

python screen-scraping mechanize http-status-code-403 robots.txt 2017-02-21

---

0зной

1ответ

Использование Angular 2, как я могу разрешить просмотр robots.txt без запуска угловой маршрутизации?

Я использую Угловое 2 и добавлен файл robots.txt в корневой папке моего Dist на производстве (для целей SEO) Но файл не доступен, так как URL https://myrandomsite.com/robots.txt просто перенаправляет

angular angular2-routing robots.txt 2017-02-22

---