|
pbn屏蔽ahrefs等蜘蛛,用robots.txt不是办法,好的办法是在.htaccess上屏蔽。.htaccess上是这样的
[mw_shl_code=applescript,true]SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot
SetEnvIfNoCase User-Agent .*exabot.* bad_bot
SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot
SetEnvIfNoCase User-Agent .*dotbot.* bad_bot
SetEnvIfNoCase User-Agent .*gigabot.* bad_bot
SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot
SetEnvIfNoCase User-Agent .*sitebot.* bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>[/mw_shl_code]
但问题来了,vps都是nginx的,小白不知道怎么改。那位高人帮改下,谢谢!
|
|