搜索引擎蜘蛛爬行网页的广度优先和深度优先解析

搜索引擎蜘蛛爬行网页的方式，网络蜘蛛一般有两种策略：广度优先和深度优先。下面启凡合肥网站建设对搜索引擎蜘蛛爬行网页的广度优先和深度优先解析:

搜索引擎蜘蛛爬行网页的方式一：广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因为这个方法可以让网络蜘蛛并行处理，提高其抓取速度。如:很多优化人员在网站地图上放上网站的所有链接。

搜索引擎蜘蛛爬行网页的方式二：深度优先是指网络蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。这个方法有个优点是网络蜘蛛在设计的时候比较容易。

两种策略的区别，用图来进行说明。搜索引擎蜘蛛抓取策略由于不可能抓取所有的网页，有些网络蜘蛛对一些不太重要的网站，设置了访问的层数。

例如，在上图中，A为起始网页，属于1层，B、C、D属于第2层，E、F、G属于第3层，H属于第4层。如果网络蜘蛛设置的访问层数为3的话，网页H是不会被访问到的。这也让有些网站上一部分网页能够在搜索引擎上搜索到，另外一部分不能被搜索到。对于网站优化人员来说，扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。

(编辑：小酷)