全球主机交流论坛

标题: 怎么降低cloudflare的抓取频率？ [打印本页]

作者: buyabag 时间: 2021-10-10 10:27
标题: 怎么降低cloudflare的抓取频率？
最近服务器的磁盘io一直100%，队列高达10左右，分析日志ip后发现是cf一直在爬取，可能是自动缓存。

这本来是个好功能，可现在爬取的频率太高了，硬盘先要撑不住了。

请教各位d大的，有什么设置之类的可以控制下cloudflare的抓取频率吗？

作者: 周润发 时间: 2021-10-10 10:28
不是CF CF又不是搜索引擎是别人通过CF 访问的大概率是谷歌干的

作者: CodyDoby 时间: 2021-10-10 10:30
之前谷歌的爬虫也很烦，只好换服务器

小尾巴翘起来

作者: buyabag 时间: 2021-10-10 10:35

周润发发表于 2021-10-10 10:28
不是CF CF又不是搜索引擎是别人通过CF 访问的大概率是谷歌干的

点醒了我，应该去cf里面查访问

作者: hxuf 时间: 2021-10-10 10:49
很可能是伪装成CF的采集

作者: 乌拉擦 时间: 2021-10-10 10:50
十有**是爬虫

作者: junhan 时间: 2021-10-10 10:51
多半是其他爬虫，看日志，没用的垃圾爬虫就禁止了吧

欢迎光临全球主机交流论坛 (https://loc.imgfree.eu.org/)