百度lee曾在地下场所说过:不同的站点略有不同,但通常在几天内陆续失效。 其实咱们能够假想下robots失效的进程:

  1.蜘蛛发现robots文件修正并将信息传回

  2.剖析修正前后的robots文件

  3.删除不容许被收录的索引数据 这个进程中肯能还会存在其余的一些步骤,但是因为每个网站蜘蛛爬的频率和网站的权重不同(网站的重要性)而招致蜘蛛发现robots更改的工夫延时或许被解决的优先性不同,最终招致的后果就是robots的失效工夫不同。

  织梦模板网结语:经过以上剖析咱们能够得出robots的失效工夫并不是肯定的,假如你的robots更改后很久都没有失效的话,那么可能就是robots设置谬误了