搜索引擎友好网站结构的三点要求
(1)能找到目标网页
必须有外部链接指向网站首页，这样搜索引擎才能发现我们的网站并进行抓取，然后蜘蛛沿首页内部链接抓取更深层内容页，能很轻松的对网站内容进行遍历抓取。
(2)能抓取网页内容
网页内容符合搜索引擎蜘蛛的抓取条件，被搜索引擎蜘蛛发现的URL必须可以被抓取，url中尽量减少参数，避免蜘蛛陷阱。
(3)能提取有价值信息
网站内容要有价值(四个建立高质量页面的硬指标)——不抄袭，提高文章质量，搜索引擎能从已抓取的页面中提取有价值内容。
搜索引擎友好
域名，服务器，robots.txt，nofollow，404页面，301重定向，网站地图，清晰导航，url设计，图片alt说明，精简代码，复制内容，蜘蛛陷阱(flash、session id、各种跳转、框架结构、动态url、javascript链接、要求登录、强制使用cookies)
404页面的概念：
当你打开某一个网站的内页页面不存在，提示页面不存在或者连接错误，该页面上可以访问到网站的其他页面，这样的页面称之为404页面。
其主要的作用是为了引导用户在那些打不开的链接上能访问到网站的其他地方，而不是让用户直接关闭窗口，有助于增加用户体验度，同时对搜索引擎也是有好处的，可以让蜘蛛对网站爬的更深点。不会因页面错误而中止抓取!
404页面注意的地方：
在有些站长喜欢自作聪明，把那些页面不存在时设置成返回200状态码，这样以为能让搜索引擎知道这个页面是正常的，其实大错特错，这些页面都是相同的内容，搜索引擎对于那些多个url都是大量重复的内容这种是非常避讳的。
部分网站把404页面设计成定时，时间到后自动返回首页，这种也是和上面一样，也会让搜索引擎判断错误，后都会被误判为重复内容，后果可严重了，可以导致网站只收录内页，不收录首页!
404页面设计：
互联网上网站上各种各样的404页面，玲琅满目，作为一名SEO人员，到底应该设计怎样的404页面才符合SEO呢?其实抓住重要几个就可以了。
1.404页面和其他文章页面一样，保持一样的模板，风格，logo等，让用户知道还在这个网站上面;
2.404页面应该清晰醒目的提示请求的信息内容不存在或已被删除或被转移到新的地址上面，让用户知道即可;
3.还可以在上面加上一些可以通向网站其他地方的链接，如内导航，首页，网站地图，也可以加一个”您可能还感兴趣的”链接诱饵;
把这三点考虑进去，然后在针对自己的网站设计404页面，那就简单多了，不紧给网站有一个良好的用户体验，还可以符合搜索引擎!
怎样找出网站中的404错误?
1.直接的方法: 查看网站的访问日志;
2.如果网站有记录404的统计可以方便很多.
对于网站中大量404死链的解决:
如上面我们提到的, 大量404影响用户和搜索引擎的体验, 提交死链删除很有必要.
收集死链是个复杂的问题, 目前百度还没有通配符的方式提交死链.
1.如果站点同目录下的死链可以根据死链的url规则来判断并找出这些死链;
2。对于泛域名解析导致的死链, 每个泛域名都是一个相对独立的站点, 少量的收录可以用手工的方式来收集, 但是大量收录只能借助第三方工具从百度都搜索引擎中抓取出来.
