Немного решил облегчить задачу клепателям сайтов и уменьшить риск попадения под АГС некоторых сайтов, сделав небольшие прививки (хотя для некоторых это будет очень критично). Будем править robots.txt, как известно АГЛ очень не любит дубли контента на страницах - а это тэги, архивы и т.п. Если раньше мы использовали роботс.тхт для прописания хоста и закрытия профилей (например dle, папка user из-за большого спама), то сейчас придётся ещё закрыть и дубль контента.
Самый простой вид роботса для DLE, у некоторых ещё может быть папка page:
User-agent: *
Disallow: /user/
Disallow: */rss.xml
Disallow: /tags/
Disallow: /2009/
Disallow: /2010/User-agent: Yandex
Host: site.ru
Disallow: /user/
Disallow: */rss.xml
Disallow: /tags/
Disallow: /2009/
Disallow: /2010/
У остальных движков проделываем подобные операции. Хоть даже и если были данные страницы у Вас в индексе, лучше лишиться их, чем завтра почти всего сайта и не получить ничего... Надеюсь данная информация будет Вам полезна.