每天一个网站建设小知识建站运营

当我们接手一个新网站的运营，我们要对这个网站的robots.txt文件，进行一下设置。这个文件是网站和搜索引擎之间的一个“合同”，我们可以在这个文件中明确的写出搜索引擎的蜘蛛可以爬行哪些页面，而哪些页面不可以爬行。当新站上线会有一个沙河效应期，在这个期间，robots.txt文件正常应该限制搜索引擎抓取，然后趁着这段时间，对网站进行一些内部的优化，更新一些高质量的原创内容。当过了沙河效应期，开放robots.txt文件，允许所有搜索引擎的爬虫爬行抓取网站文件和页面，这样就会在搜索引擎上慢慢的展现你网站的内容了。

这里拿dedecms来举例吧。我们都晓得dedecms能够运用静态和动态url进行同一篇内容的拜访，若是你生成全站静态了，那你有必要屏蔽动态地址的url连接。这里有两个优点：1、查找引擎对静态的url比动态的url更友爱、更简单录入;2、避免静态、动态url能拜访同一篇文章而被查找引擎判为重复内容。这样做对查找引擎友爱性来说是有益无害的。