最近百度对一些有大量垃圾外链的网站和布局不合理的网站进行了惩罚，使得很多网站都排名都出现了不同程度的浮动，网站维护人员应该如何通过蜘蛛的爬取方式来调整页面布局。
网站收录对于很多朋友来说一直是一个追问的话题，除了我们通常所说的sitemap开发外还有一点不可小却那就是网站的层次布局，为什么这样说呢?下面笔者就蜘蛛的两种爬取方式来为你一一说道：
通常我们所看到的百度蜘蛛和谷歌机器人都是通过深度优先和宽度优先的方式来进行爬取的，这里为了让大家更容易理解特意北京网站开发小站来举例说明。
一、深度优先遍布抓取
深度优先抓取就类似我的扫路车站，网站首页>产品展示>扫路车系列，首选抓取是以这样的方式来抓取的，等到抓取完毕这些栏目之后，在进行抓“扫路车系列”栏目下的文章，这样就是深度优先策略，类似于家庭关系一样。长子、次子然后是长孙等这样的关系。
二、就是宽度优先的遍布抓取
这种方式的抓取，深度是不断的在增加的。类似于这样的“首页 > 公司简介> 产品展示>产品价格>公司简介...”爬虫来的你网站，会顺着一个栏目一级级向下抓取，等这个“公司简介”栏目下被抓取完毕后，在进行其子下 一个栏目。这样的宽度抓取是有一定的原因的，基于网站布局的问题，往往是重要的页面距离种子站点(种子站点是爬虫开始抓取的起点)是比较近的，这样符合习 惯。
所以，你可以看到一个大型门户站点，最容易看到的是一些实事新闻，这点是距离种子站点越近可以理解为越重要的页面;其次，中文万维网的深度没有我们想 象的那么深，到达一个网页路径不仅仅是一个，所以爬虫总能找到最近的路径到达当前页面，据相关数据表明中文万维网的深度为17;还有一点就是，多爬虫的合 作策略，基于这个规则大部分的抓取的起始网页为站内的，逐渐的才会转向站外的链接，抓取的封闭性是比较强的。
基于上述的两种抓取方式，我们不难看出，网站要尽可能的节省爬虫的抓取时间，因为爬虫到你网站的时间是一定的，缩短其单页面的抓取时间会提高你网站的 抓取量，进而会影响你网站的收录量，最终能够影响到你网站的搜索引擎关键词排名流量。根据以上两种方式，来合理布局你网站的内容，让爬虫能够很容易的抓取到你想要被抓 取的东西，这样合理的布局好内容，让网站的搜索引擎关键词排名流量有一个突破瓶颈的提升。
