如何限制谷歌蜘蛛的爬取频率？

2021-02-27 23:32:57 admin

最近发现自己的一个网站，资源使用的非常大，经过排查发现谷歌蜘蛛每天的爬取频率达到了一百多万次，对服务器造成了比较大的资源浪费。

因为谷歌在国内的访问障碍，消耗这么大服务器资源的同时，谷歌带来的访问量是不成比例的，每天平均差不多只有20个访客。

那么，如何限制谷歌蜘蛛的爬取频率对服务器的影响呢？

1、如果可以彻底不需要国外ip的访问，可以直接一次性屏蔽掉所有国外ip对服务器的访问；

2、记录谷歌蜘蛛的IP段（我发现爬取超级频繁的就那两三个ip段，在服务器禁止就完全可以解决问题）

3、如果需要让国外用户访问，可以用robots文件禁止谷歌蜘蛛爬取；

4、如果还需要保持一定的谷歌优化，可以在谷歌站长工具中进行限制（google search console），

先验证站点权限，然后访问老版本地址，把下面网址中的网站地址换成你的网址，

然后选择滑道到最低即可，一般次日生效。

最后，我推荐用第2或第4种方法。