EEfaq论坛-赚客自留地

 找回密码
 免费注册
查看: 479|回复: 3

问一个 robots.txt 和sitemap冲突的问题

[复制链接]
发表于 2013-12-19 10:52:13 | 显示全部楼层 |阅读模式
下面是我的robots.txt
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://xxxx/sitemap.xml


提交到google  

给我警告
警告
Url blocked by robots.txt.
Sitemap contains urls which are blocked by robots.txt.


我百度了一下  有人说是 robots.txt禁止一个页面,但是sitemap底部上又叫蜘蛛去捉取它,那蜘蛛就犯困了,到底是捉取还是不捉取啊,所以就警告了···

看了之后还是迷惑,我的robots禁止了吗?  没看出来啊?
有高手解答一下吗? 谢谢了
发表于 2013-12-19 11:17:30 | 显示全部楼层
sitemap.xml并不用故意写进robots里.
sitemap直接在网站管理工具里提交就可以了的.
回复 支持 反对

使用道具 举报

发表于 2013-12-19 13:42:46 | 显示全部楼层
我的基本上也是这么写的阿,没有提醒我冲突。根据理解也不会有冲突才是啊。
回复 支持 反对

使用道具 举报

发表于 2013-12-19 15:05:33 | 显示全部楼层
在 Robots.txt 里写上 XML Sitemap 的地址没问题的,楼主这样做法没错,尤其是不想碰谷歌工具的人都可以这样用。当然如果已经在谷歌工具提交了就不必重复。

问题可能出自你xml sitemap的内容。自己检查是否在sitemap里有“/wp-admin/” “/wp-includes/”目录下的内容的URL,尤其是后者。这个sitemap 的 URL也必须是absolute URL,不能有错。自己可在浏览器看看sitemap。

就算有警告,蜘蛛也只是停止抓取被禁止的部分,不会是全部。影响不大。

评分

参与人数 1e币 +2 收起 理由
月光飞燕 + 2

查看全部评分

回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

QQ|联系我们|Archiver|手机版|小黑屋|EEfaq论坛

GMT+8, 2024-12-23 14:53

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表