建站百科Website News

大多数没用过的网站优化朋友不太熟悉其作用，而用过的朋友肯定会感觉到其优势，robots.txt非常有利于网站优化。西安网站建设专家——至成科技今天与您一起分享使用的robots.txt，我们希望能帮助到你们。

*先我们来看看，了解什么是一个robots.txt？

我的理解是robots.txt通过代码控制搜索引擎蜘蛛索引的一种手段，以减轻Web服务器的带宽利用率，使空间的网站是更稳定，而且还可以提高效率，提高网站的其他页面的网站索引。

现在我们来熟悉如何使用robots.txt？

*先，我们需要创建一个robots.txt的文本文件，然后将文件中的代码，告诉搜索引擎你不能访问的文件。然后把它上传到网站的根目录下的robots.txt文件后，当搜索引擎蜘蛛索引的一个网站，*先爬行查看网站的根目录。

# robots.txt file start   文件开始

# Robots.txt file from http://www.xazcit.com

# All robots will spider the domain

User-agent: *

Disallow: /security/ 不允许访问

Disallow: /admin/不允许访问

Disallow: /admin.htm不允许访问

# End robots.txt file  文件结束

robots.txt文件中的规范编写代码，我们还要注意的User-agent：必须存在，而且给所有的搜索引擎蜘蛛说不允许访问哪个文件夹。