robots文件是一种机器人文件，就是我们给搜索引擎蜘蛛看的一种文件，搜索引擎的蜘蛛在爬行我们网站的时候一把都会先爬行我们的robots文件，然后根据robots文件的要求，进行对我们网站的爬行。那么我们在写robots文件的时候应该注意哪些技巧呢。

　　一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。这个时候我们就可以通过以下的方法来设置robots文件。

　　User-agent: *
　　Disallow: /admin/ 后台管理文件
　　Disallow: /require/程序文件
　　Disallow: /attachment/ 附件
　　Disallow: /images/ 图片
　　Disallow: /data/数据库文件
　　Disallow: /template/ 模板文件
　　Disallow: /css/ 样式表文件
　　Disallow: /lang/ 编码文件
　　Disallow: /script/脚本文件
　　Disallow: /js/js文件

　　如果你想让你的哪一个文件不被搜索引擎抓取的话，那么你就要按照以上的方法来设置你的robots文件。

　　如果你的网站是动态网页，并且这些动态页面都做了静态的版本，为了更好的让蜘蛛抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引，这样就能保证这些页面不被搜索引擎重复的抓取了。

　　以上就是汇仁智杰网络推广整理的一些robots文件的使用方法，robots文件的使用方法还有很多，在后续的文章中我们还会有更多的说明。