有时候我们建站前期忘记写robots.txt文件了，很多我们不想让搜索引擎录入的内容却被录入了，这个时候会发现好像过了很长时刻我们不想让录入的页面仍是处于被录入的状况，究竟robots收效要多久呢？
百度lee曾在公开场合说过：不同的站点略有不同，但通常在几天内陆续收效。
其实我们能够设想下robots收效的进程：
1.蜘蛛发现robots文件修正并将信息传回
2.剖析修正前后的robots文件
3.删除不允许被录入的索引数据
这个进程中肯能还会存在其他的一些步骤，但是由于每个网站蜘蛛爬的频率和网站的权重不同（网站的重要性）而导致蜘蛛发现robots更改的时刻延时或许被处理的优先性不同，终究导致的结果就是robots的收效时刻不同。
通过以上剖析我们能够得出robots的收效时刻并不是必定的，假如你的robots更改后很久都没有收效的话，能够去这儿投诉：tousu.baidu.com
