robots文件，你最可靠的朋友

此情可待成追忆

淘宝和百度最近是打的热火朝天的，咱们这些旁观者也不能光看热闹啊，得从中学到什么啊，
我们看到，淘宝和百度两打架，有个家伙在做怪，那是什么呢？robots.txt文件，
下面呢，我就给不知道什么是robots.txt文件的朋友扫盲，高手可略过，
可能有太多的做搜索引擎优化和网络营销的新手朋友经常接触robots这个词，但并没有对它做深入的研究，本文将帮你轻而易举的理解robots文件的内涵，并且毫不费力的做出符合搜索引擎兴趣和心性的robots内容，您只需要花费一点点时间，就能和robots这个家伙轻松成为朋友。何乐而不为呢


想象一下，如果你和robots成为朋友，你就和搜索引擎达成了一个协议，一个建立在平等基础上的协议，
当你拥有robots这个朋友的时候，你就可以轻松的对搜索引擎说不了，你的网站上的一些隐私或其它内容当搜索引擎过来访问时，robots这位朋友就是一位强大的保护神，把搜索引擎拒之门外。

我在这里不但会告诉你一些怎样设置robots文件的秘诀，而且还告诉你如何设置它能更加对搜索引擎友好，以有利于你的网站排名，并且教你几招轻松搞定robots函数的办法

1，那么，什么是robots文件呢，当搜索引擎这个机器人慢悠悠的来到你的网站的时候，它首先看一下你的网站中是不是有robots.txt这个文件，所以说robots.txt文件是搜索引擎已经和我们达成的一个约定，如果我们按约定那样做了，它们就不要收录。

2。robots.txt文件放在你的网站什么地方呢，，记住，一定是根目录下，比如www.123.com/robots.txt，切记不要放到别的地方，

3，robots.txt文件如何设置呢，很简单，如果你希望网站的网页全部被抓取，三种办法，一是不要robots.txt文件，二是建立一个空的纯文本文件，命名为robots.txt，上传到你的空间的根目录下，如果你不希望网页被全部抓取，那就设置一下robots函数就可以了，

4 在robots.txt文件里你基本上只用两个函数就可以了，：User-agent和
Disallow
User-agent: * 允许所有搜索引擎收录
《适用于所有搜索引擎》
Disallow:
允许访问所有文件
Disallow: / 禁止访问所有的网页文件
User-agent: baiduspider

Disallow: / 仅禁止baiduspider访问您的网站
User-agent: *

Disallow: /cgi-bin/ 禁止所有搜索引擎访问cgi-bin/ 目录下所有文件
User-agent: *

Disallow: /*?* 禁止访问网站中所有的动态页面

5，接下来我将告诉你如何设置你的robots文件来达到最优化网站的方法，
当你检查你的网站时，你会发现很多重复或相似的网页，这些网页不利于你的网站的权重，所以你就要用到robots这个朋友来禁止一些相似的网页
当你发现一些网页没有关键词时，最好用它禁止，
当你发现一些死链接时，最好禁止
当多个链接同指向一个网页时，最好禁止动态的那些链接
以上所有这些都是对搜索引擎友好的设置

6 那么，设置了robots后多长时间生效呢，一般情况下二十四个小时，
当你读完这篇文章后，是否感到花费了几分钟是进学值得的，因为通过这篇文章你对robots文件已经有了更高层次的理解吧，

好，让我们看一下我的robots文件设置吧robots.txt

无终狼

没看出淘宝和百度两打架，为什么是robots.txt文件在做怪。
软文水平不低，值得学习