站长们在做网站优化的时分,都会给网站做robots协定,什么是robots协定呢?其实说白了就是一个txt文本,那么这个txt文本有什么用途呢?明天网站源码网小编来给大家说一下。

  什么是robots协定?

  robots是网站和搜寻引擎之间的一个协定。用来避免一些不想被搜寻引擎索引的页面或内容的抓取,而且能够吧sitemap地图的门路放在robots协定中,这样有助于网站地图的抓取。可以无效进步网站的衰弱度、污浊度,升高网站渣滓内容收录

  robots协定怎样写?

  robots的罕用的命令普通有:

  User-agent:*(这里的*代表的一切的搜寻引擎品种,这句话示意能够让一切的搜寻引擎都能够拜访抓取这个网站。)

  Disallow:(这个示意制止的意思,一些不想让搜寻引擎拜访的页面能够把门路写上去。)

  Allow:(这个示意容许的意思,想要搜寻引擎拜访页面能够把门路写上去。)

  robots协定的作用

  经过咱们下面的内容,咱们对robots也有了理解。当搜寻引擎王文网站时,会优先拜访网站的robots协定,从中来获取信息来抓取网站。那么假如没有robots协定会对网站有什么影响呢?

  1、假如没有robots,搜寻引擎蜘蛛拜访网站时照旧会先拜访robots.txt,没有的话会前往404页面,影响尽管不大,然而也决对不好。

  2、没有robots,搜寻引擎蜘蛛默许抓取一切内容。这一点影响不是很大,然而还是取决于网站的内容,假如存在很多低品质的内容,倡议还是应用robots进行限度比拟好。

  综合下面所说的内容,robots协定还是加上比拟好,没有很费事,咱们普通会把robots放在FTP的根目录下,有助于蜘蛛的抓取。以上就是网站源码网小编给大家所引见的robots协定的作用了,先要理解更多网站优化的常识,就继续关注咱们吧。