自2016年开始，很多企业又开始注重网站SEO优化工作，有些公司聘请了专业的网站SEO人员负责网站优化，还有一些小企业干脆就自己一边学一边动手来做相关的SEO工作。接下来深圳网站建设公司优联创（www.ucreator.cn)给大家分享深圳网站建设为什么要添加robots.txt文件，大家读了这一篇文章就知道robots.txt文件的重要性。
robots.txt是搜索引擎在访问企业网站时第一个要查看的文件。其实就是当一个用户用搜索蜘蛛（查找网络数据的一种工具）访问你的企业站点时，它会首先检查企业网站的根目录下有没有robots.txt这文件，有的话，搜索蜘蛛就会在robots.txt这文件里面的内容来访问，如果没有robots.txt这文件存在，所有的搜索蜘蛛就会访问网站上所有没有被禁止或保护的页面。
robots.txt文件放在哪里?
robots.txt文件是放在企业网站的根目录下面的。（相信很多专业的SEO朋友都知道，这就不需要多了角了。）简单为新SEO的朋友介绍一下，放在这里的目的就是让搜索蜘蛛在访问企业网站时第一时间找到robots.txt文件，然后它会按照robots.txt文件里面的内容来确定它需要访问的哪些内容。
robots.txt使用误区
误区一：我的企业网站整站所有的文件都需要蜘蛛抓取，那我是不是就没有必要在企业网站中添加robots.txt文件了？反正如果robots.txt文件不存在，所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。为什么要添加robots.txt文件，将在robots.txt重要性里面详细介绍。
误区二：在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取，这样可以增加网站的收录率。
网站中的程序脚本、样式表等文件即使被蜘蛛收录，也不会增加网站的收录率，还只会浪费服务器资源。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引这些文件。具体哪些文件需要排除， 在robots.txt使用技巧一文中有详细介绍。
误区三：搜索蜘蛛抓取网页太浪费服务器资源，在robots.txt文件设置所有的搜索蜘蛛都不能抓取全部的网页。
如果这样的话，会导致整个网站不能被搜索引擎收录。
robots.txt重要性和使用技巧
重要性：每一个用户访问企业网站某个不存在的url时，服务器都会在日志中记录404错误（没有找到的文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也会在日志中记录一条404错误，所以你的企业网站应该在网站根目录中添加一个robots.txt。
技巧：一个企业网站不是所有的文件都需要蜘蛛抓取，一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
深圳网站建设完成，后期的网络运营管理也是非常重要的，如你的企业网站也是SEO大军中的一员，那么我们这些SEO的运作者们就不能放过一个对企业网站SEO有利的优化，否着我们的企业网站就会在SEO大军中落别的企业一节。