我们做优化的人，很多看的就是看的是别人网站的收录情况，从来不关心别人网站的禁止情况！呵呵，石家庄网络公司小编也很少关心这个情况，可能我们在观察一个网站的质量时，我们更多的看的是别人站的收录情况，和外链情况！我们也没必要去了解太多的有关别人禁止的情况！不过，在建站的初期我们的应该更多的关心我们哪些东西能给人看，哪些东西禁止人看！这时，我们就要考虑我们的网站的Robots文件的使用！

针对Robots文件的创建，之前石家庄网络公司小编有说过，今天之所以再次拿出来讲讲，第一是给自己一次再次认识和学习，第二是希望对看到这篇文章的朋友对认识Robots文件有所帮助！

我们也都知道，在和别人换链接时，最怕的就是别人用JS，flash链接，使用nofollow等方法，这样和你链接对你没有多大作用！但如果你想限制你的不想要被搜索引擎收录的网站网页，也使用这种方法时，恐怕会达不到你要的效果！robots文件，就可以达到你要限制被搜索引擎收录的效果！

搜索引擎蜘蛛访问网站时通常会查看一下网站的根目录下是否有一个以“robots.txt”命名的纯文本文件，robots.txt的作用是用于指令搜索引擎禁止抓取网站的某些内容或者允许抓取某些制定的内容。由于有的服务器设置有点问题，robots文件不存在时会返回202状态码及一些错误信息，而不是404状态码，这有可能导致搜索引擎错误解读robots文件信息，所以就算你要允许蜘蛛抓取所有信息，也要建一个空的 ！
下面我们把有关robots文件的注意事项说上几点！
robots.txt文件放在根目录下，注意如下几点：
1.必须命名为：robots.txt，并且字母都是小写，robot后面加”s”。
2.robots.txt必须放置在一个网站的根目录下。如：通过 可以成功访问到，则说明设置成功。
3.Robots文件由记录组成，记录行之间必须以空行分开。
一般情况下，robots.txt里只写着两个函数：User-agent和 Disallow。一般格式如下：
User-agent:* Disallow:/
以上表示robots文件禁止所有搜索引擎抓取任何信息。当然如何设置你禁止的内容，还要看你的具体网站，小编这里只是点到为止！希望对你在以后建robots文件时，有所帮助！

robots

实搜网络为您提供网络推广，网络营销，网站建设，SEO优化，微信开发，网站托管等服务，服务热线：0311-66697360