У меня есть сайт, который был полностью разработан во флеше. Теперь владельцы сайтов не хотят переходить на более текстовый/html-сайт. Поэтому я планирую создать альтернативный сайт на основе html/tex
Скажем, у меня есть сайт на http://example.com. Мне бы очень хотелось, чтобы боты увидели домашнюю страницу, но любая другая страница должна быть заблокирована, поскольку она бессмысленна для паука. Д
в файле robots.txt, у меня есть следующая строка User-Agent: Googlebot-Mobile Disallow:/ User-агент: GoogleBot Disallow:/ Карта сайта: http://mydomain.com/sitemapindex.xml Я знаю, что если я поставлю