理网站上的重复内容是一项非常困难的工作。随着网站的发展,必须不断增加、改变或删除各种功能;与此同时,不同的网站内容来了又去。一段时间后,许多网站都会有以多个URL网址形式存在的系统化垃圾代码,这些URL都返回同样的内容。在一般情况下,除了会增加搜索引擎的抓取和索引内容的难度以外,你的网站上存在重复内容并不构成问题。此外,通过导入链接而得到的PageRank以及类似信息可能会在我们尚未确定为重复内容的网页间扩散,导致你的首选网页在谷歌中的排名降低。
处理你的网站内部重复内容的步骤
识别网站上的重复内容。
识别你网站上的重复内容是处理重复内容的第一步,也是最重要的一步。使用一种简单的方法可以实现这个目的,即从网页中选取一段独特的文本代码,然后搜索这段文本,并使用谷歌的site:query将搜索结果限制为自己网站上的网页。如此以来,搜索出的含有同样内容的多个结果就是你需要处理的重复内容。