西安网站制作工程师对Robots书写注意事项
至成科技2018-10-01访问量（1254）评论（0）
摘要：西安网站制作先来说说网站制作都要经过哪些人的手，*先是西安网站制作公司的设计师，将网站设计出来后交给前端工程师，再有更后的程序进行制作。然后网站制作完成。接下来说一下本人的主题是书写Robots的注意事项。那么我们先解释Robots协议是什么Robots协议称为蜘蛛爬虫协议、机器人协议等的全称是“网络蜘蛛爬虫排除标准”英文名叫Robots Exclusion
西安网站制作先来说说网站制作都要经过哪些人的手，*先是西安网站制作公司的设计师，将网站设计出来后交给前端工程师，再有更后的程序进行制作。然后网站制作完成。接下来说一下本人的主题是书写Robots的注意事项。
那么我们先解释Robots协议是什么
Robots协议称为蜘蛛爬虫协议、机器人协议等的全称是“网络蜘蛛爬虫排除标准”英文名叫Robots Exclusion Protocol，我们的网站就是通过这个协议来告诉搜索引擎哪些页面或者哪个目录下的文件夹可以抓取哪些是不能抓起的，而它的本质是网站与搜索引擎的一种沟通方式而不是限制;
Robots书写的注意事项：
1、尽量把动态页面屏蔽掉(因为蜘蛛的抓取一般比较喜欢静态的网页);
2、一些后台的程序比如js 管理员登陆页面 网站的插件;
3.后台的图片文件夹，蜘蛛是无法抓取的图片的;
4.网站的死链接一定要屏蔽掉;
