EEfaq论坛-赚客自留地

 找回密码
 免费注册
查看: 1842|回复: 8

求助贴 我这样写robots.txt 对吗?(wordpress)

[复制链接]
发表于 2010-2-2 10:05:35 | 显示全部楼层 |阅读模式
我用的是wordpress 我把wordpress目录放在了跟目录下 我样像写对吗?
我的主页被google收录了,怎么连我做的那个破flash 都收录了,但其他文章页面一个也没收录,是不是跟我写的robots.txt这个文件有问题
谢谢,
User-agent: *
Disallow: /cgi-bin
Disallow: /wordpress/wp-
Disallow: /wordpress/feed/
Disallow: /wordpress/comments/feed
Disallow: /wordpress/trackback
Disallow: /wordpress/comments
Sitemap: http://sfood.net/wordpress/sitemap.xml
Sitemap: http://sfood.net/wordpress/sitemap.xml.gz
发表于 2010-2-2 10:32:23 | 显示全部楼层
本帖最后由 sockpuppet 于 2010-2-2 10:39 编辑

我喜欢加个wild char
像这样
Disallow: /wordpress/wp-*
Disallow: /wordpress/feed/*

看样子你还得加个
/images/*

* google可以辨别出来,其他的我就不知道了

一点补充:
我个人的
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /wp-content/*
Disallow: /wp-admin/*
Disallow: /wp-includes/*
Disallow: /trackback/*
Disallow: /feed/*
Disallow: /comments/*
Disallow: /page/*
Disallow: /date/*
Disallow: /archive/*
Disallow: /rss/*

这对于duplicate content有作用。
还有,即使你用robots禁止spider,还是会索引的,但只有链接(一部分或根本没有)会出现在serp上.

对了我有个food的autoblog.但没你 首页 那么漂亮。
会美工真好
回复 支持 反对

使用道具 举报

 楼主| 发表于 2010-2-2 11:08:04 | 显示全部楼层
我那会什么美工啊,那是我鼓捣了一周才鼓捣出来的,我新手,这是我第一个站,
回复 支持 反对

使用道具 举报

发表于 2010-2-2 12:05:01 | 显示全部楼层
你可以给这个wp地址添加一些站内外的链接
回复 支持 反对

使用道具 举报

发表于 2010-2-2 19:44:32 | 显示全部楼层
  用几个最常见的情况,直接举例说明:
  1. 允许所有SE收录本站:robots.txt为空就可以,什么都不要写。
  2. 禁止所有SE收录网站的某些目录:
  User-agent: *
  Disallow: /目录名1/
  Disallow: /目录名2/
  Disallow: /目录名3/
  3. 禁止某个SE收录本站,例如禁止百度:
  User-agent: Baiduspider
  Disallow: /
  4. 禁止所有SE收录本站:
  User-agent: *
  Disallow: /
  5. 加入sitemap.xml路径,例如:
  Sitemap: http://www.advertcn.com/sitemap.xml
回复 支持 反对

使用道具 举报

发表于 2010-2-2 20:17:42 | 显示全部楼层
本帖最后由 sockpuppet 于 2010-2-2 20:22 编辑

只有seo-greenhat答到点上.
不好意思,我在二楼没回答到点上,而且误导了ls的。
lz想问他的网页收录如此之少,是不是因为robots.txt写错了。很明显没错。

还有,你干麻用冲浪站阿
http://www.autosurfpro.com/cgi-bin/top.cgi
忌讳忌讳。

多弄几个外链到
http://sfood.net/wordpress/category/slimming-and-beaut
http://sfood.net/wordpress/category/healthy-cookbook
http://sfood.net/wordpress/categ ... se-medicine-regimen
http://sfood.net/wordpress/category/food-common-sense
就okay了,noindex,follow
回复 支持 反对

使用道具 举报

发表于 2010-2-3 10:37:49 | 显示全部楼层
不行用插件帮忙解决
回复 支持 反对

使用道具 举报

发表于 2010-2-3 12:11:22 | 显示全部楼层
学习了,感觉用好了robots,会非常有效
回复 支持 反对

使用道具 举报

发表于 2010-2-9 12:44:12 | 显示全部楼层
楼主的经验很不错。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

QQ|联系我们|Archiver|手机版|小黑屋|EEfaq论坛

GMT+8, 2024-11-22 00:52

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表