Noindex или disallow in robots symfony

Question

Я работаю с Symfony 1.4 и хочу отключить индекс Google на своем веб-сайте, какой лучший код мне нужно будет использовать?

• роботы: нет-индекс, NOFOLLOW
• роботы: запретить

Answer 1

Просто посмотреть here

User-agent: * 
Disallow:/

Answer 2

Они делают different вещи:

• Поиспользуя robots.txt, вы можете запретить сканирование вашего сайта.

• С помощью meta - элемент robots, вы можете запретить индексацию вашего сайта.

Если вы хотите один, у вас can’t есть другой.

Таким образом, вы должны решить:

• Googlebot никогда не должен посещать ваши запросы, но он может индексировать ваши URL (узнает о них из различных источников): с помощью файла robots.txt.
• Googlebot никогда не должен индексировать ваши URL-адреса, но он может их посещать: используйте meta - robots.