|
发表于 2010-2-2 10:32:23
|
显示全部楼层
本帖最后由 sockpuppet 于 2010-2-2 10:39 编辑
我喜欢加个wild char
像这样
Disallow: /wordpress/wp-*
Disallow: /wordpress/feed/*
看样子你还得加个
/images/*
* google可以辨别出来,其他的我就不知道了
一点补充:
我个人的
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /wp-content/*
Disallow: /wp-admin/*
Disallow: /wp-includes/*
Disallow: /trackback/*
Disallow: /feed/*
Disallow: /comments/*
Disallow: /page/*
Disallow: /date/*
Disallow: /archive/*
Disallow: /rss/*
这对于duplicate content有作用。
还有,即使你用robots禁止spider,还是会索引的,但只有链接(一部分或根本没有)会出现在serp上.
对了我有个food的autoblog.但没你 首页 那么漂亮。
会美工真好 |
|