关于主机非浏览器流量的问题
本帖最后由 cyrich 于 2013-6-23 12:44 编辑一虚拟主机,每月9G的带宽,主机放了一个WP做的网站,有20万条记录,google收录1W+,网站没什么IP,之前每个月的带宽使用都是一、两G左右。
前几天将WP做的网站整个删除了。然后做了个新的网站,把数据库、文件上传到空间。
发现这几天带宽暴涨,而且404错误的非浏览器流量占了26G,不知道是不是因为我删除了网站数据的问题?
这个光看图,还是搞不清楚的,要你自己来研究了
是不是删除文件后,搜索引擎来检索这些页面,造成的非浏览器流量
月光飞燕 发表于 2013-6-23 17:28 static/image/common/back.gif
是不是删除文件后,搜索引擎来检索这些页面,造成的非浏览器流量
我怀疑这个可能很大,要是这样的话,有什么方法能避免呢?用robot.txt限制蜘蛛吗
页:
[1]