谷歌蜘蛛爬取太频繁

ZhènJīngBù · 发表于 2021-10-30 23:38:51

提示: 作者被禁止或删除内容自动屏蔽

奧巴马 · 发表于 2021-10-30 23:41:55

蜘蛛又不下载大文件，怎么可能干1t流量

马杰克 · 发表于 2021-10-30 23:46:37

不一定是真的谷歌爬虫，去日志里翻翻确认一下

蝙蝠侠 · 发表于 2021-10-31 01:06:23

ZhènJīngBù 发表于 2021-10-30 23:38
返回444不好吗

都可以，我就随手复制一个

8a38a522 · 发表于 2021-10-31 02:11:21

robots.txt

		自动登录	找回密码
密码			注册

ZhènJīngBù ZhènJīngBù 当前离线积分 20497	11^# 发表于 2021-10-30 23:38:51 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
ZhènJīngBù ZhènJīngBù 当前离线积分 20497
	回复支持反对举报