Google SEO предотвращает загрязнение параметров

Question

В настоящее время мы используем prerender для сайта anguar (site.com). Но у нас есть проблема.

Когда мы запускаем сайт: site.com в Google много поисковых результатов ссылок отображаются следующим образом:

site.com?ref=adirtyurl.com 

Как мы можем предотвратить это показ в Google?

Я уже добавил это в свой файл robots.txt, но что, если эти спамеры начнут использовать разные параметры? Я хочу, чтобы попытаться ограничить это укомплектовать

User-agent: * 
Disallow: /*?ref=* 

Answer 1

Я закончил тем, что писал некоторые переписывания-правила, которые возвращают ошибку 404, за исключением разрешенных параметров:

<rule name="BlockUrlParams" patternSyntax="ECMAScript" stopProcessing="true"> 
     <match url="(.*)" /> 
     <conditions> 
     <add input="{QUERY_STRING}" pattern="^(?!.*\b_escaped_fragment_\b)" /> 
     <add input="{REQUEST_URI}" pattern="\?" />   
     </conditions> 
     <action type="CustomResponse" statusCode="404" statusReason="File or directory not found." statusDescription="The resource you are looking for might have been removed, had its name changed, or is temporarily unavailable." /> 
    </rule>