站长们在做网站优化的时分，都会给网站做robots协定，什么是robots协定呢？其实说白了就是一个txt文本，那么这个txt文本有什么用途呢？明天网站源码网小编来给大家说一下。
什么是robots协定？
robots是网站和搜寻引擎之间的一个协定。用来避免一些不想被搜寻引擎索引的页面或内容的抓取，而且能够吧sitemap地图的门路放在robots协定中，这样有助于网站地图的抓取。可以无效进步网站的衰弱度、污浊度，升高网站渣滓内容收录
robots协定怎样写？
robots的罕用的命令普通有：
User-agent:*（这里的*代表的一切的搜寻引擎品种，这句话示意能够让一切的搜寻引擎都能够拜访抓取这个网站。）
Disallow:（这个示意制止的意思，一些不想让搜寻引擎拜访的页面能够把门路写上去。）
Allow:（这个示意容许的意思，想要搜寻引擎拜访页面能够把门路写上去。）
robots协定的作用
经过咱们下面的内容，咱们对robots也有了理解。当搜寻引擎王文网站时，会优先拜访网站的robots协定，从中来获取信息来抓取网站。那么假如没有robots协定会对网站有什么影响呢？
1、假如没有robots，搜寻引擎蜘蛛拜访网站时照旧会先拜访robots.txt，没有的话会前往404页面，影响尽管不大，然而也决对不好。
2、没有robots，搜寻引擎蜘蛛默许抓取一切内容。这一点影响不是很大，然而还是取决于网站的内容，假如存在很多低品质的内容，倡议还是应用robots进行限度比拟好。
综合下面所说的内容，robots协定还是加上比拟好，没有很费事，咱们普通会把robots放在FTP的根目录下，有助于蜘蛛的抓取。以上就是网站源码网小编给大家所引见的robots协定的作用了，先要理解更多网站优化的常识，就继续关注咱们吧。
1. 本站所有资源来源于用户上传和网络，如有侵权请邮件联系站长（anda@andawork.com）！
2. 分享目的仅供大家学习和交流，您必须在下载后24小时内删除！
3. 不得使用于非法商业用途，不得违反国家法律。否则后果自负！
4. 如有链接无法下载、失效或广告，请联系管理员处理！
5. 本站资源售价只是赞助，收取费用仅维持本站的日常运营所需！
6. 如遇到加密压缩包，请使用WINRAR解压,如遇到无法解压的请联系管理员！
