妃子笑 发表于 2012-12-10 16:24:54

怎么阻止来自WORDPRESS官方的蜘蛛

我有一个网站每天来几十万WORDPRESS官方的蜘蛛，以致主机都被暂停了，怎么BLOCK来自WORDPRESS的SPIDERS啊？
Last agents
DateTimeAgentWhat
December 9, 201223:42:47WordPress/3.4.2; http://www.xxx.net   WordPress
December 9, 201223:42:47WordPress/3.4.2; http://www.xxx.net   WordPress
December 9, 201223:42:47WordPress/3.4.2; http://www.xxx.net   WordPress
December 9, 201223:42:47WordPress/3.4.2; http://www.xxx.net   WordPress
December 9, 201223:42:47WordPress/3.4.2; http://www.xxx.net   WordPress
December 9, 201223:42:46WordPress/3.4.2; http://www.xxx.net   WordPress
December 9, 201223:42:46WordPress/3.4.2; http://www.xxx.net   WordPress


Last spiders
DateTimeSpiderPageAgent
December 9, 201223:42:47WordPress...
WordPress/3.4.2; http://www.xxx.net
December 9, 201223:42:47WordPress... WordPress/3.4.2; http://www.xxx.net
December 9, 201223:42:47

WordPress/3.4.2; http://www.xxx.net
December 9, 201223:42:47WordPress... WordPress/3.4.2; http://www.xxx.net
December 9, 201223:42:47WordPress... WordPress/3.4.2; http://www.xxx.net
December 9, 201223:42:46WordPress... WordPress/3.4.2; http://www.xxx.net
December 9, 201223:42:46WordPress... WordPress/3.4.2; http://www.xxx.net
December 9, 201223:42:46WordPress... WordPress/3.4.2; http://www.xxx.net
December 9, 201223:42:46WordPress... WordPress/3.4.2; http://www.xxx.net
December 9, 201223:42:46WordPress... WordPress/3.4.2; http://www.xxx.net




嗯嗯 发表于 2012-12-10 16:41:31

robot.txt文件里限制试试不知道行不行~~~

jeo.vee 发表于 2012-12-10 16:50:28

WORDPRESS蜘蛛？真没听说过！是某插件导致的吧？！

adboomer 发表于 2012-12-10 17:58:29

.htaccess里面可以限制的，也可以安装第三方的插件直接现在IP地址

妃子笑 发表于 2012-12-10 18:24:57

robot.txt文件里限制试试不知道行不行~~~
嗯嗯 发表于 2012-12-10 16:41 http://www.advertcn.com/images/common/back.gif


好像不行诶，我用ROBOT.TXT屏蔽了所有的搜索引擎BOT,还是一样有问题呢。

妃子笑 发表于 2012-12-10 18:26:31

WORDPRESS蜘蛛？真没听说过！是某插件导致的吧？！
jeo.vee 发表于 2012-12-10 16:50 http://www.advertcn.com/images/common/back.gif


    升级了模板以后就这样，试了几个主机都是一样。用的是正版模板，官方说没问题，晕。

cjyzpcl 发表于 2012-12-10 19:18:19

我遇到过这种问题，直接写规则封ip才好

满意沟通 发表于 2012-12-10 19:42:46

应该是人家搞采集的 爬的
.htaccess直接屏蔽算鸟<Limit GET>
        order allow,deny
        allow from all

        deny from 121.205.21.1(换为要屏蔽的ip)
</Limit>

阿波刺德 发表于 2012-12-10 20:13:04

额采集一般用UA设置googlebot:$

嗯嗯 发表于 2012-12-10 20:39:57

好像不行诶，我用ROBOT.TXT屏蔽了所有的搜索引擎BOT,还是一样有问题呢。
妃子笑 发表于 2012-12-10 18:24 http://www.advertcn.com/images/common/back.gif


又是流氓蜘蛛~~你按照七楼的办法试试吧，

zhi 发表于 2012-12-10 20:59:19

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Wordpress
RewriteRule .* -
试试

uronstone 发表于 2012-12-12 09:24:14

SetEnvIfNoCase User-Agent "^WordPress" ban_bot

<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=ban_bot
</Limit>

试试吧

daoday 发表于 2012-12-12 10:03:15

官方不养蜘蛛，估计是私人养的

bomber50 发表于 2012-12-14 22:06:50

应该是采集插件吧，只能禁IP段。
页: [1]
查看完整版本: 怎么阻止来自WORDPRESS官方的蜘蛛