dahuie 发表于 2009-10-15 08:24:57

WordPress如何写好robots.txt

现在很多人使用的Blog程序都是WordPress,那么在做WordPress优化时,有一项比较重要的是robots.txt文件,那么该如何写WordPressBlog的robots.txt文件呢?请继续往下看:

    一、最严格的写法,我们采取以下方法:
    User-agent: *
    Disallow: /wp-*
    #Allow: /wp-content/uploads/
    Disallow: /*.php$
    Disallow: /*.inc$
    Disallow: /*.js$
    Disallow: /*.css$
    Disallow: /?s=
    允许所有蜘蛛访问,限制访问以“wp-”开头的目录及文件,限制抓取.php文、.inc、.js、.css文件,限制抓取搜索结果。这是许多朋友公认的写法,下面介绍一下一个另类的写法:

    User-agent: *
    Disallow: /wp-admin
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes
    Disallow: /wp-includes
    Disallow: /?s=
    Sitemap: http://www.xxx.com/sitemap.xml,这只是个例子,这里的地址要换成你的sitemap.xml地址,大家看得出这两种写法有什么不同之处吗?

   
附sitemap.xml:
<?xml version="1.0" encoding="UTF-8" ?>
- <sitemapindex xmlns="http://www.google.com/schemas/sitemap/0.84">
- <sitemap>
<loc>http://www.xxx.com/lanmu.xml</loc>
<lastmod>2009-09-15</lastmod>
</sitemap>
- <sitemap>
<loc>http://www.xxx.com/wenzhang.xml</loc>
<lastmod>2009-09-10</lastmod>
</sitemap>
</sitemapindex>

搞搞阵 发表于 2009-10-15 22:23:53

还不懂,跟你学习一下

嗯嗯 发表于 2009-10-15 22:24:54

不错~~感谢分享了~~

gxil 发表于 2010-4-26 20:17:22

收藏下,对于site map 还不是很懂的

duguwangzi 发表于 2010-4-26 20:26:00

不错~~感谢分享了~~

zwzj21 发表于 2010-4-28 15:32:02

没看懂~。飘过!~!

serivcesmsc 发表于 2010-5-5 22:33:33

这个是做什么用的?

conylee 发表于 2010-6-17 22:49:24

不错哦,非常感谢
页: [1]
查看完整版本: WordPress如何写好robots.txt