robots.txt

0зной

1ответ

Предотвращение маршрутизации ошибок от Bots выскабливание Coffescript Файлы

В моем файле сценария кофе, у меня есть это: $('#map_of_users').html("<iframe src='/map/" + $(this).data('user_id') + "></iframe>" Боты ползет этот файл и думать, что есть URL, чтобы проверить, так

0зной

1ответ

Разные домены, разные языки, то же самое содержание, 1 robots.txt

Я в этой ситуации: Домены: www.example.com www.example.it , что указывает на то же содержание на разных языках. Например .: www.example.com/audi-car.html www.example.it/audi-auto.html и у меня е

2зной

1ответ

robots.txt на прокси-сервере apache

Мне нужна помощь в том, как заблокировать веб-браузеры, чтобы пройти весь путь к веб-серверам, но чтобы остановить обратный уровень прокси-сервера и прочитать файл robots.txt, расположенный в корне об

0зной

1ответ

Таблица стилей, заблокированная Google после рендеринга

При рендеринге моего веб-сайта в Консоль поиска Google (Fetch as Google) я обнаружил, что таблицы стилей моего сайта заблокированы. Состояние выборки говорит «Частично». Я подозреваю, что причина этог

0зной

1ответ

Как написать Robots.txt для этих ссылок wordpress для остановки доступа к ним «page.php? Lougout»

Привет, у меня есть сайт для прессы на английском языке. Я сделал некоторые настройки, которые показывают ботовую страницу, показывающую множество ошибок сканирования страниц. ошибки, упомянутые ниже.

0зной

2ответ

Noindex или disallow in robots symfony

Я работаю с Symfony 1.4 и хочу отключить индекс Google на своем веб-сайте, какой лучший код мне нужно будет использовать? роботы: нет-индекс, NOFOLLOW роботы: запретить

1зной

1ответ

Как сказать google, чтобы не обходить домен полностью

У меня есть сайт в opencart, скажем abc.com, и я открыл несколько магазинов с ним xyz.com, и я обнаружил, что Google начал обходить xyz.com тоже, которого я не хочу. Обе домены указывают на одну и ту