robots.txt

1зной

1ответ

Сайт, отображающийся в Google SERP, несмотря на правильную конфигурацию robots.txt

У меня есть веб-приложение ExpressJS, используемое для внутренних целей, которое я не хочу индексировать Google. Таким образом, я реализовал следующий маршрут: app.get('/robots.txt', function(req,res)

javascript html seo google-search robots.txt 2016-10-17

---

2зной

3ответ

Robots.txt для umbraco

Интересно, есть ли по умолчанию сайт Robots.txt для веб-сайтов Umbraco (7.5). Прямо сейчас, я создал один с этими элементами. Добавить что-нибудь еще? User-Agent: * Disallow: /umbraco/ Disallow: /um

umbraco robots.txt umbraco7 2016-09-13

---

0зной

1ответ

Как добраться до robots.txt?

Мне сообщили различные источники, что http://www.anthonygalli.com/robots.txt не существует. У меня есть файл в общественном/robots.txt User-agent: * Allow:/ Sitemap: http://www.anthonygalli.com/sitem

ruby-on-rails ruby public robots.txt 2016-09-14

---

0зной

1ответ

Как избежать индексации моего сайта в процессе разработки завершен

У меня есть новый сайт и новый домен, для завершения разработки потребуется около 2 месяцев, а затем выйдет в прямом эфире. Только тогда я хочу, чтобы google начал сканирование и индексирование моего

seo meta-tags robots.txt googlebot google-index 2016-09-14

---

1зной

2ответ

robots.txt, не показывающий через node.js маршруты, посылает обычный текст

Это сводит меня с ума ... Я добавил маршрут в определение моего маршрутизатора, чтобы обслуживать простой текстовый файл robots.txt. Я не думаю, что у меня есть ловушка перед маршрутом /robots.txt, та

node.js express nginx router robots.txt 2016-09-20

---

1зной

2ответ

Неполный robots.txt, что происходит?

У меня есть страница на веб-сайте, и у меня нет доступа к чему-либо другому, что моя страница. Веб-сайт используется для продажи различных небольших продуктов. После того, как вы проработали более год

web-crawler robots.txt google-crawlers 2016-10-02

---

-1зной

1ответ

Будет ли изменен файл robots.txt для перезагрузки iis?

Я собираюсь внести изменения в файл tots robots для сайта, однако мне любопытно, если после внесения поправки мне нужно будет перезапустить iis, чтобы он полностью вступил в силу? Заранее спасибо

iis robots.txt 2016-10-06

---

0зной

1ответ

NGINX multiple server_name, но есть файл robots.txt для каждого имени сервера?

Мне нужно создать имя_сервера в качестве слушателя для источника, которое вытаскивает мой CDN. КДС хочет вытащить из origin.mydomain.com У меня уже есть 100s строк кода под www.mydomain.com, демонстри

nginx robots.txt server-name 2016-10-13

---