misca 发表于 2013-12-19 10:52:13

问一个 robots.txt 和sitemap冲突的问题

下面是我的robots.txt
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://xxxx/sitemap.xml


提交到google

给我警告

警告
Url blocked by robots.txt.
Sitemap contains urls which are blocked by robots.txt.



我百度了一下有人说是 robots.txt禁止一个页面，但是sitemap底部上又叫蜘蛛去捉取它，那蜘蛛就犯困了，到底是捉取还是不捉取啊，所以就警告了···

看了之后还是迷惑，我的robots禁止了吗？没看出来啊？
有高手解答一下吗？ 谢谢了

adrian 发表于 2013-12-19 11:17:30

sitemap.xml并不用故意写进robots里.
sitemap直接在网站管理工具里提交就可以了的.

jhon 发表于 2013-12-19 13:42:46

我的基本上也是这么写的阿，没有提醒我冲突。根据理解也不会有冲突才是啊。

猪农 发表于 2013-12-19 15:05:33

在 Robots.txt 里写上 XML Sitemap 的地址没问题的，楼主这样做法没错，尤其是不想碰谷歌工具的人都可以这样用。当然如果已经在谷歌工具提交了就不必重复。

问题可能出自你xml sitemap的内容。自己检查是否在sitemap里有“/wp-admin/” “/wp-includes/”目录下的内容的URL，尤其是后者。这个sitemap 的 URL也必须是absolute URL，不能有错。自己可在浏览器看看sitemap。

就算有警告，蜘蛛也只是停止抓取被禁止的部分，不会是全部。影响不大。
页: [1]
查看完整版本: 问一个 robots.txt 和sitemap冲突的问题