网址规范化指的是搜索引擎挑选合适的URL作为真正(规范化的)网址的过程。
一、首先，为什么会出现不规范网址?
如图所示：
http://maxseo.cn
http://www.maxseo.cn
http://www.maxseo.cn/index.html
http://maxseo.cn/index.html
上面这几个URL指的是同一个文件：首页
从技术上来说，这几个URL都是不同的网址，搜索引擎也确实把他当作不同的网址，虽然这些网址返回的都是相同的文件，也就是首页。但从技术上来说：主机完全可以对这几个网址返回不同的内容。那么，除了图上带与不带www造成的，以及结尾是否带有index.html后缀造成的不规范网址外，其实还有以下几种原因会造成。例如：
①：网站程序的原因，不少CMS系统经常出现一篇文章可以通过几种不同的URL去访问。
②：URL静态化设置存在错误，同一篇文章中有多个静态化URL可以访问。如图(截图URL和访问的标题)：
③：URL静态化后，静态和动态URL共存，都有链接，也都可以访问。
④：网站的目录后带与不带斜杠。如图：
下图为不同的网址，但其实是一个页面。
http://www.baidu.com
http://www.baidu.com/
⑤：加密网址。如图：
下图的URL同时存在，但都可以访问。
http://www.baidu.com
https://www.baidu.com
⑥：URL中有端口号。如图：
http://www.baidu.com80/
http://www.baidu.com/
⑦：跟踪代码。有喜欢做网络推广的人，习惯在URL后面加跟踪代码。如图：
http://www.baidu.com/?*100
二：其次，出现网址不规范会给网站带来什么问题?
网站出现多个不规范网址会给搜索引擎收录和排名带来很多的麻烦，为什么不规范的URL会给搜索引擎和排名带来很多麻烦?为了让站长彻底的明白，我们举个例子，比如：网站首页是固定的且只有一个，但很多站长在链接回首页的时候所使用的URL并不是的，而是一会连到http://www.esobao.cn，一会连到http://www.esobao.cn/index.html。
一般来说，虽然不会给用户造成什么麻烦，但因为这些网址都是同一个文件，会间接性的给搜索引擎造成困惑，搜索引擎会认为：到底哪一个网址才是真正的首页?哪一个网址应该被当作首页返回?那么，这里有个重点：如果网站上不同版本的网址同时出现，就会很可能被搜索引擎收录。被收录之后，后果就可想而知了。而此时，搜索引擎在计算排名的时候必须要找到所谓规范化的网址，也就是搜索引擎认为的合适的URL版本。
不规范化会造成的问题，笔者简单的来说下：
①： 网站上有多个URL，这样会分散页面权重，不利于排名。
②：搜索引擎判断的规范化网址并不是站长想要的那个网址。如图(站长想要的是不带后缀的，搜索引擎去把带后缀的给收录了)：
③：如果网址规范化问题太严重，也可能影响收录。因为：一个权重不是很高的域名，能收录的总页面数和蜘蛛总爬行时间是有限的，而搜索引擎把资源花在收录不规范的网址上，留给独特内容的资源就变得越来越少了。
④：重复页面过多，搜索引擎可能认为有作弊嫌疑。
⑤：对于搜索引擎来说，浪费资源、浪费宽带。
三、后，如何解决网址规范化的问题
关于如何解决网址规范化问题，可能这个对于站长而言是重点也是核心内容了。那么，可以解决URL规范化问题的方法有很多，比如接下来我们要说的这些：
①：现在企业、个人站长用的程序多的就是CMS，那么此时你就要确定你使用的这个CMS系统是否只能产生规范化网址，无论是否有静态化，比如DEDE、帝国CMS等。
②：所有内链要保持统一，都指向规范化网址。比如：以带与不带www为例子，确定一个版本为规范化网址后，网站的内部链接都要统一使用这个版本，这样搜索引擎就会明白哪一个是站长希望的网站规范化网址。而从用户体验的角度去看：用户通常选择就是带www的版本为规范化网址。
③：301转向。这个常用也是普遍的一个方法，站长可以通过301转向把不规范化URL全部转向到规范化URL。
④：canonical标签。目前也是站长使用比较多的一种了，而且百度也是全面支持这个标签了。
⑤：制作XML地图，地图中全部使用规范化网址，然后提交给搜索引擎。
虽然方法很多，但很多方法都有局限性，比如：有的网站因为技术的缺失或不成熟，导致301无法实现。再比如：很多CMS系统经常无法受自己控制等等。那么，笔者这里主要针对301和canonical做下具体的说明，因为这两种规范化方式是站长常用的手段，而且也是百度认同的。
通常来说，在网站的建设过程中，重复内容的产生很难避免，但是重复内容在很大程度上会影响网站在搜索引擎中的表现。今天和大家探讨的内容就是重复内容产生的原因以及解决方法。
产生重复内容的主要原因
1、正文内容越少相似度就会越高，相似度越高网站降权就越严重。主要表现在产品类网站，为什么呢，因为大多数是产品的图片，文字太少。
2、正文的重复文字过多，也会导致相似度过高，那哪些东西会造成相似度过高呢?比如做产品站的，你的够买的流程是不是大多数都是相同的，版权以及联第方式，也是导致页面相似度过高的一个原因。
那我们如何来杜绝呢?如果是做产品的，那么我们把每一个内容页面的图片做一个精准的描述。如果重复内容过多的见意做成图片上的文字来减少页面的相似度。
如果内容过少我们可以这样来做：到互联网上找这个产品针对性的内容然后选取其内容，对我们自己的网页做内容伪原创，如果你是做百度的，你可以去360上去找内容然后把这些内容进行嫁结。如果你是产品类的见意你添加评论。评论你可以去淘宝、阿里上去找以此来减少页面的相似度。
3、网站内容采集，就是内容源。如果你采集的内容跟互联网上的内容相似度过高而你的网站权重又不高，那么百度就会删除你的，解决办法就是(1)内容修改，对你所有采集的内容进行修改，但这个人工是非常大的，所以从一开始我们就做一个健康的网站是多么的重要。(2)修改内页不收录的页面的标题进行修改。
4、网址规范化问题。
网址规范化问题包括主域名的规范化和页面URL地址规范化两个方面，主域名的规范化需要规范化。另外是内页URL的规范化，通常为了让搜索引擎能够的抓取网站内容，我们会将URL进行伪静态处理，而一般的网站伪静态之后，原始的动态URL依然存在并能够访问，这样就造成了多个URL访问相同网址。
5、内容的其他版本
很多网站除了提供正常的版本之外还提供一些其它的浏览版本，比如打印版本或者简版，却并没有禁止搜索引擎去抓取这些页面，而这些页面也因此变成了重复内容页面。
6、网站结构
很多网站在结构设计之初并没考虑SEO方面的因素，结果是导致造成各种页面版本，比如产品按价格，评论，时间排序等，特别是一些电子商务网站，这种页面重复现象尤为严重。
7、URL任意加字符还是返回200状态码。
一些网站是因为网站程序和技术的原因，用户在URL参数后面随意加上一些字符都能够正常访问，并且页面是和没加之前的完全重复。
检查页面是否有重复版本有一个比较简单的方法，就是将内容随机选择一句话加双引号后进行搜索，从结果中就可以看到有多少个重复的页面。因为通常来说随机选一句话进行搜索完全生命的机率是比较小的。
END
重复内容的危害
1很多做SEO的存在一个误区，那就是认为如果网站上有重复内容就会被搜索引擎惩罚，其实倒没有这么严重，搜索引擎会在所有的重复页面中选择一个认为佳的版本去参与排名，其它相似的内容不会同时拥有排名。
2那么问题也就来了，，搜索引擎如何去判断哪个页面是正版的，是否和网站管理员想的页面一致，如果搜索引擎判断失误，把原创的页面当成了复制内容，复制页面当成了原创页面，而你在进行推广的过程中却是原版，那就是做了无用功。第二，同一个网站内的页面存在多个复制内容会分散页面权重，既然页面在网站上出现了，就必然会有链接链向这个页面，而如果链接是统一的，那以全部的权重都可以进行集中，同时相同页面的收录在一定程度上也占用了搜索引擎蜘蛛的抓取精力，减少了原本真正需要进行抓取页面的收录机率。
END
消除复制内容的方法
网址规范化问题好的方法是一个页面只对应一个URL，不要出现多个不同的版本，网站所有链接都指向这个URL。当然有些时候因为程度原来或者其它原因，无法完全统一为一个URL，那么我们可以采用以下三种方式进行集中权重。
1，301重定向
301能够传递页面的权重，目前来说主流搜索引擎都支持301重定向，可以将复制内容的页面全部通过301重定向的方式跳转到原版页面。
2，robots文件禁止
通过在robots.txt文件中禁止复制内容被搜索引擎抓取，也能有效的解决网址重复问题。
3，canonical标签
canonical标签是由谷歌，雅虎在2009年共同发布的一个新的标签，目前百度也表示支持canonical标签，这个标签也可以用于解决网址重复的问题。
添加了以上标签后，也就相当于告诉搜索引擎哪个网址是规范原创的版本，其它复制内容都是指向这一个的网址，有一点页面301传递权重的意思，但是301是页面直接跳转了，而加这个标签后，页面还是停留在原始地址。
