EEfaq论坛-赚客自留地

 找回密码
 免费注册
查看: 1589|回复: 18

分享一份适合wordpress的robots.txt写法

  [复制链接]
发表于 2013-3-31 13:07:41 | 显示全部楼层 |阅读模式
括号内的汉字是我对指令的解释说明,使用时请去掉。大家可以根据自己的需要增减一些指令。
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
(屏蔽抓取程序文件,如果需要抓取上传的文件,可以加上Allow: /wp-content/uploads/)
Disallow: /feed
Disallow: /*/feed
(以上2个屏蔽feed地址)
Disallow: /*/trackback
(屏蔽trackback链接,防止蜘蛛抓取重复内容)
Disallow: /*?replytocom=
Disallow: /*/comment-page-*
(这2个是屏蔽抓取留言信息链接)
Disallow: /?s=*
Disallow: /*/?s=*
(这2个是禁止抓取站内搜索结果)
Disallow: /?p=*
(屏蔽抓取短链接)
sitemap:http://www.xxxxxxxx.com/sitemap.xml

评分

参与人数 4e币 +6 收起 理由
hardrock + 1 送花花~~~
katharine427 + 1
月光飞燕 + 1 谢谢分享!
aric + 3

查看全部评分

发表于 2013-3-31 13:20:45 | 显示全部楼层
感谢分享……
回复 支持 反对

使用道具 举报

发表于 2013-3-31 13:23:15 | 显示全部楼层
谢谢楼主分享~~
回复 支持 反对

使用道具 举报

发表于 2013-3-31 13:27:26 | 显示全部楼层
3q~~~~~~
回复 支持 反对

使用道具 举报

发表于 2013-3-31 13:34:57 | 显示全部楼层
感谢楼主分享咯 支持下
回复 支持 反对

使用道具 举报

发表于 2013-3-31 13:42:29 | 显示全部楼层

感谢分享……
回复 支持 反对

使用道具 举报

发表于 2013-3-31 13:49:11 | 显示全部楼层
感谢楼主分享,以后用的上
回复 支持 反对

使用道具 举报

发表于 2013-3-31 15:13:47 | 显示全部楼层
我拿走啦,把分留下
回复 支持 反对

使用道具 举报

发表于 2013-3-31 17:09:15 | 显示全部楼层
用个实例说明
回复 支持 反对

使用道具 举报

 楼主| 发表于 2013-3-31 17:24:00 | 显示全部楼层

这个是通用的,一般的WP站都可以用,当然可以根据自己的需要增减一些指令,这几个指令是一般情况下要用的……每个指令的意思我已经说明了……
回复 支持 反对

使用道具 举报

发表于 2013-3-31 18:47:37 | 显示全部楼层
不错,修改下自己的robots.txt
回复 支持 反对

使用道具 举报

发表于 2013-3-31 20:45:29 | 显示全部楼层
谢谢,直接复制,修改xxxxxxxx
回复 支持 反对

使用道具 举报

发表于 2013-4-1 01:23:44 | 显示全部楼层
感谢分享……
回复 支持 反对

使用道具 举报

发表于 2013-6-14 17:32:12 | 显示全部楼层
这个感谢了,我都是用的默认的。
回复 支持 反对

使用道具 举报

发表于 2014-1-19 10:06:15 | 显示全部楼层
谢谢了非常实用            
回复 支持 反对

使用道具 举报

发表于 2014-1-20 00:21:22 | 显示全部楼层
非常好啊,多谢多谢,最重要的是写出解释了
回复 支持 反对

使用道具 举报

发表于 2014-1-20 00:25:24 | 显示全部楼层
收藏了.好东东
回复 支持 反对

使用道具 举报

发表于 2014-1-20 00:29:29 | 显示全部楼层
对于这种实用性文章,我只有默默的收藏了。
回复 支持 反对

使用道具 举报

发表于 2014-6-16 19:58:42 | 显示全部楼层
不错的内容,支持一下。。。。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

QQ|联系我们|Archiver|手机版|小黑屋|EEfaq论坛

GMT+8, 2024-11-21 23:11

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表