У меня есть эти каталоги, есть многие из них:Robots.txt: Запрещает повторные подкаталогов, но позволяют основные каталоги
/dir100/media
/dir200/media
/dir300/media
я хочу Запрещает все */медиа-каталоги , как я могу это сделать?
Вы были почти в своем вопросе!
# User agent that should be disallowed, '*' is far 'all'
User-agent: *
Disallow: /*/media
# A less restrictive rule that would also work:
# Disallow: /dir*/media
В общих поисковых системах хочет видеть все ресурсы, которые могут ссылаться на ваших страницах, и если эти ресурсы запрещены для сканирования и имеют решающее значение для понимания страницы с помощью рендеринга, есть шанс, что Google и другие поисковая двигателям будет трудно понять страницы. Помните об этом при настройке директив запрета.