Как полностью скрыть сайт из поисковых систем?

Question

Какой наилучший рекомендованный способ скрыть мой веб-сайт с поисковых систем, я просмотрел его и нашел, что некоторые говорят, что я должен поставить метатег, а некоторые сказали, что я должен поместить текстовый файл в свой каталог веб-сайта, я хочу знать, стандартный способ.

мой текущий сайт находится в asp.net, в то время как я считаю, что он должен быть распространенным способом для любого веб-сайта независимо от его языка программирования.

Answer 1

Используйте файл robots.txt.

посмотреть здесь http://www.robotstxt.org/robotstxt.html

Answer 2

http://www.robotstxt.org/robotstxt.html

Answer 3

Вы также можете использовать ваши серверы robots.txt: гусеничный

User-agent: * 
Disallow:/

Google фактически уважает эти настройки.

Answer 4

Есть поисковые системы/книги маркировки услуги, которые не используют robots.txt. Если вы действительно не хотите, чтобы он появлялся, я предлагаю использовать capcha только для перехода на сайт.

Answer 5

Действительно простой ответ; пароль защищает его. Если это промежуточный сайт, то, скорее всего, он не предназначен для публичного обсуждения (скорее всего, для частной аудитории). Пытаясь сохранить его из поисковых систем, это относится только к симптому, когда реальная проблема заключается в том, что вы не обеспечили ее надлежащим образом.

Answer 6

Имейте в виду, что вы не можете скрыть незащищенный веб-сайт, открытый с поисковой системы. Вы можете попросить, чтобы боты не проиндексировали его (через robots.txt, который мои прекрасные коллеги подняли), и люди, которые пишут ботов, могут выбрать не индексировать ваш сайт на основе этого, но должен быть хотя бы один парень там, кто индексирует все, что люди просят его не индексировать. По крайней мере один.

Если это большое требование, когда автоматические сканеры выходят из строя, для вас может работать какое-то решение CAPCHA.

Answer 7

Что лучший способ рекомендуются йа скрыть промежуточный веб-сайт из поисковых систем

Simple: не обнародует его. Если это не сработает, то только сделайте его общедоступным достаточно долго, чтобы подтвердить, что он готов отправить сообщение вживую, а затем снять его.

Однако, все, что сказано, более фундаментальный вопрос: «Зачем заботиться?». Если место размещения на самом деле должно быть живым сайтом на один шаг перед нажатием вживую, тогда не имеет значения, проиндексирован ли он.