Go-http-client/1.1 是什么爬虫？
2021-01-16 22:31:07
深海科技
这个有人研究过，Go-http-client/1.1 是 是阿里云（或腾讯云）的全站加速，
主要是动态加速，为了确定最优线路不断爬取，自动优化线路，
如果网站CDN有动态加速，把这个选项取消掉就行了。
一般爬取频次不会很高，占用资源不大，可以不用处理。
