做百度优化推广公司哪家好

爬虫不断获取相同的页面的同时，服务器段也在遭受着打击，它可能会被击垮，阻止所有真实用户访问这个站点。

爬虫本身变的毫无用处，返回数百份完全相同的页面的因特网搜索引擎就是这样的例子。

同时，联系上一个问题，由于URL别名的存在，即使使用了正确的数据结构，有时候也很难分辨出以前是否访问过这个页面，如果两个URL看起来不一样，但实际指向的是同一资源，就称为互为别名。

标记为不爬取

可以在你的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被蜘蛛访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎访问和收录了，或者可以通过robots.txt指定搜索引擎只收录指定的内容。搜索引擎爬行网站第一个访问的文件就是robot.txt。同样也可以把链接加上rel=nofollow标记。

老站

1.老站可以修改标题吗？答：可以

2.那以老网站修改标题后影响大吗？答：一般来说小改影响不大的。如果修改不当，惩罚是很正常的。

3.老站可以经常修改标题吗？答：不可以，不管新站还是老站都不可以经常修改网站标题的。即使老网站，修改一下标题受的惩罚没那么严重，但是也不要今天一改，明天又改一次，否则出事的就是你的网站。

4.老站修改网站标题会受什么样的惩罚？

答：一般来说老站修改一下标题，如果修改的是为了增加网站相关性匹配和用户需求匹配，如果修改的合理的话，原关键词排名会有小的波动，会下滑几排名档次，收录会有小的影响，修改后坚持一个月会有新的关键词排名变化，个别关键词排名会有提升。