全球主机交流论坛

标题: 谷歌蜘蛛爬取太频繁 [打印本页]

作者: 沉默的鱼 时间: 2021-10-30 22:41
标题: 谷歌蜘蛛爬取太频繁
谷歌蜘蛛爬取太频繁

怎么屏蔽

宝塔nginx伪静态规则

作者: gr58046576 时间: 2021-10-30 22:43
屏蔽干什么？

作者: 沉默的鱼 时间: 2021-10-30 22:48

gr58046576 发表于 2021-10-30 22:43
屏蔽干什么？

爬到把服务器干爆了
每月流量就20T ，一台能给他爬到1T多。。。

作者: gr58046576 时间: 2021-10-30 22:49

沉默的鱼发表于 2021-10-30 22:48
爬到把服务器干爆了
每月流量就20T ，一台能给他爬到1T多。。。

有那么夸张？

作者: 蝙蝠侠 时间: 2021-10-30 22:51

if ($http_user_agent ~* (google)){ return 403; }

加到NGINX配置文件里边

作者: vikin 时间: 2021-10-30 23:01
一天爬二十几万次 4H小鸡根本顶不住早屏蔽了

作者: 沉默的鱼 时间: 2021-10-30 23:08

蝙蝠侠发表于 2021-10-30 22:51
加到NGINX配置文件里边

我是加到站点配置那里

但是加了之后

宝塔上行流量统计还是高

不知道啥情况

作者: 机长 时间: 2021-10-30 23:09
限制单个IP连接数

作者: 蝙蝠侠 时间: 2021-10-30 23:26

沉默的鱼发表于 2021-10-30 23:08
我是加到站点配置那里

但是加了之后

看网站日志，是因为什么导致资源占用高

作者: htazq 时间: 2021-10-30 23:30
楼主这情况八成是被别有用心的人利用google爬虫漏洞攻击了，可以搜索相关关键词

作者: ZhènJīngBù 时间: 2021-10-30 23:38
提示: 作者被禁止或删除内容自动屏蔽

作者: 奧巴马 时间: 2021-10-30 23:41
蜘蛛又不下载大文件，怎么可能干1t流量

作者: 马杰克 时间: 2021-10-30 23:46
不一定是真的谷歌爬虫，去日志里翻翻确认一下

作者: 蝙蝠侠 时间: 2021-10-31 01:06

ZhènJīngBù 发表于 2021-10-30 23:38
返回444不好吗

都可以，我就随手复制一个

作者: 8a38a522 时间: 2021-10-31 02:11
robots.txt

欢迎光临全球主机交流论坛 (https://loc.imgfree.eu.org/)