robots协议** 容易忽略的小细节

　　在我看来robots协议就是站长行使网站支配权的执行文件，这是我们作为站长** 基本的权利。它是搜索引擎蜘蛛爬取网站之前要面对的第一道关口，所以robots协议的重要性也是可想而知了。都说细节决定成败，那么越重要的东西细节就

　　在我看来robots协议就是站长行使网站支配权的执行文件，这是我们作为站长** 基本的权利。它是搜索引擎蜘蛛爬取网站之前要面对的第一道关口，所以robots协议的重要性也是可想而知了。都说细节决定成败，那么越重要的东西细节就显得尤为重要，往往自己一不小心忽略的一个细节到** 后就可能会成为你的致命一击。本人之所以会这么说，是因为我差点就成了这个问题的反面教材了，还好发现的及时也算是亡羊补牢吧!之所以想立即分享给大家，就是希望大家以后自己做站的时候要避免犯类似的错误。

　　事情其实就发生在今天，经过是这样的：因为重庆优化博客也刚做好不久，前几天网站上线之后发现还有很多小问题需要处理，为了避免网站还在调整的过程中就被搜索引擎抓取到，所以我在robots协议里面写了禁止所有搜索引擎爬取网站任何部分的指令，网站的调整一直持续了几天(之所以会弄这么长时间是因为我是一个不能容忍瑕疵的人，不知道这算不算强迫症的一种)，直到昨天也就是2月3号才全面竣工，但是这期间我每天都在坚持添加原创文章。昨天网站检查完毕，全部问题都解决好以后，我就把robots协议重新更换了过来，并且发了一篇帖子引了蜘蛛希望爬虫能快点过来爬我的网站。就这样，到了今天早上发现网站还是没有被收录，于是我就去百度站长工具平台看一下我的网站到底是个什么情况，进去一看吓我一跳，因为我看到了下面一则(如图所示)信息：

　　我的网站竟然对百度进行了全面封禁，检测时间是在今天(2月4号)早上凌晨5点整的时候，这让我像丈二的和尚摸不着头脑了，太不科学了，因为我在昨天2月3号上午已经把网站的robots协议更改过来了，真的是太奇怪了。就在我百思不得其解的时候总算是通过站长平台工具的“robots检测”找到了答

　　原来百度蜘蛛早就在我网站蜘蛛上线后的第三天抓取了我网站的robots协议，所以当前生效的协议也就是当时它抓取到的我把蜘蛛全部屏蔽时的那个，而本站** 新的robot协议还没有生效。这下我总算是明白了过来了，既然弄清楚了原因那事情就好办了。于是我立即把协议提交更新了一下