无锡免费快速建站精华

三、搜索引擎蜘蛛地址库

搜索引擎蜘蛛有一个专门的地址库，用来存放已经被发现的URL（已被抓取和未被抓取的都算，只要是被发现的URL都算），这样就不会出现重复爬行和抓取页面的情况了。

①地址库URL来源

蜘蛛抓取的页面中发现的新的URL；

站长后台自主提交的URL；

站长后台提交的XML地图中的URL；

站长后台提交的网站URL；

②对于未被抓取的URL

对于未被抓取的URL，不管是以什么方式获取的，哪怕是搜索引擎蜘蛛自己发现的，也会先放入地址库中，然后在做统一抓取。

四、页面数据存储

搜索引擎蜘蛛将抓取的页面数据会存入搜索引擎的原始页面数据库中，其实，就可以理解为快照中看到的页面数据，和用户看到的是一样的，每一个页面的URL地址都有一个唯一的编号。

为什么汽车之家网站的汽车名称或者搜索汽车相关关键词可以轻而易举的排名第一？这个关键词在百度搜索框中会显示出下拉搜索，在底部会显示相关搜索，在搜索结果中会显示出：汽车参数、汽车图片、报价、讨论（贴吧）、视频等，其实这些就是用户的需求！什么是用户体验？用户体验就是我们在网站建设过程中，每一个页面都要按照用户的需求进行分析，并且对于搜索引擎也可以很好的结合。用户在访问网页的第一时间就可以找到他最想找到的东西，这样的页面才是具有用户体验的网页。