robots协议** 被忽视的细节

　　在我看来，robots协议是站长行使网站控制权的执行文件，这是我们作为站长** 基本的权利。这是搜索引擎蜘蛛爬行网站之前的第一关，所以robots协议的重要性可想而知。据说细节决定成败，所以越重要的事情，细节就越重要

　　在我看来，robots协议是站长行使网站控制权的执行文件，这是我们作为站长** 基本的权利。这是搜索引擎蜘蛛爬行网站之前的第一关，所以robots协议的重要性可想而知。据说细节决定成败，所以越是重要的事情，细节就特别重要，往往一个你不小心忽略的细节** 终可能成为对你致命的打击。我之所以这么说，是因为我几乎成了这个问题的反面教材。幸好我及时找到了，算是修好了！我之所以想马上和大家分享，是希望大家以后做自己的站时，能避免犯类似的错误。

　　其实，事情发生在今天，过程是这样的：因为重庆优化博客刚刚结束，前几天网站上线，发现还有很多小问题要处理。为了避免网站在调整过程中被搜索引擎抓取，我在robots协议中写了禁止所有搜索引擎抓取网站任何部分的指令，网站的调整持续了好几天（之所以花这么长时间是因为我不能容忍缺陷）。我不知道这是不是一种强迫症）。直到昨天2月3日才完全完成，但在这期间，我每天都不断添加原创文章。昨天网站检查完毕，所有的问题都解决了，我更换了robots协议，并发了一个帖子带领蜘蛛，希望爬虫能快点来爬我的网站。就这样，我今天早上发现网站没有收录，于是我去百度站长工具平台看看我的网站是什么样子。我进去看了一眼，很惊讶，因为我看到了以下信息（如图所示）

　　我的网站甚至完全禁止百度。考试时间是今天（2月4日）凌晨5点，这让我像丈二的和尚一样困惑。太不科学了，因为我昨天2月3日上午把网站的robots协议改了。真的很奇怪。当我想不通的时候，是通过站长平台工具robots检测出来的；我知道答案了

　　原来百度蜘蛛在我的网站蜘蛛抓捕后的第三天我的网站蜘蛛抓捕了robots协议，所以目前有效的协议是，它抓捕的时候我封锁了所有蜘蛛，而网站** 新的robot协议还没有生效。现在我终于明白了。既然我知道了原因，就很容易做了。所以我立即提交了更新协议