Go-http-client/1.1 是什么爬虫?

2021-01-16 22:31:07 深海科技 35

这个有人研究过,Go-http-client/1.1 是 是阿里云(或腾讯云)的全站加速,

主要是动态加速,为了确定最优线路不断爬取,自动优化线路,

如果网站CDN有动态加速,把这个选项取消掉就行了。

一般爬取频次不会很高,占用资源不大,可以不用处理。

首页
案例
电话
地址