robots协议** 被忽视的细节
在我看来,robots协议是站长行使网站控制权的执行文件,这是我们作为站长** 基本的权利。这是搜索引擎蜘蛛爬行网站之前的第一关,所以robots协议的重要性可想而知。据说细节决定成败,所以越重要的事情,细节就越重要
在我看来,robots协议是站长行使网站控制权的执行文件,这是我们作为站长** 基本的权利。这是搜索引擎蜘蛛爬行网站之前的第一关,所以robots协议的重要性可想而知。据说细节决定成败,所以越是重要的事情,细节就特别重要,往往一个你不小心忽略的细节** 终可能成为对你致命的打击。我之所以这么说,是因为我几乎成了这个问题的反面教材。幸好我及时找到了,算是修好了!我之所以想马上和大家分享,是希望大家以后做自己的站时,能避免犯类似的错误。
其实,事情发生在今天,过程是这样的:因为重庆优化博客刚刚结束,前几天网站上线,发现还有很多小问题要处理。为了避免网站在调整过程中被搜索引擎抓取,我在robots协议中写了禁止所有搜索引擎抓取网站任何部分的指令,网站的调整持续了好几天(之所以花这么长时间是因为我不能容忍缺陷)。我不知道这是不是一种强迫症)。直到昨天2月3日才完全完成,但在这期间,我每天都不断添加原创文章。昨天网站检查完毕,所有的问题都解决了,我更换了robots协议,并发了一个帖子带领蜘蛛,希望爬虫能快点来爬我的网站。就这样,我今天早上发现网站没有收录,于是我去百度站长工具平台看看我的网站是什么样子。我进去看了一眼,很惊讶,因为我看到了以下信息(如图所示)
我的网站甚至完全禁止百度。考试时间是今天(2月4日)凌晨5点,这让我像丈二的和尚一样困惑。太不科学了,因为我昨天2月3日上午把网站的robots协议改了。真的很奇怪。当我想不通的时候,是通过站长平台工具robots检测出来的;我知道答案了
原来百度蜘蛛在我的网站蜘蛛抓捕后的第三天我的网站蜘蛛抓捕了robots协议,所以目前有效的协议是,它抓捕的时候我封锁了所有蜘蛛,而网站** 新的robot协议还没有生效。现在我终于明白了。既然我知道了原因,就很容易做了。所以我立即提交了更新协议
- 如何优化:
- 雄安网站开发 海南建设厅网站 国家监察委员会网站改版 个人网站备案建设方案书 石嘴山网上商城网站开发 湘潭网站开发培训收费标准 搜狐设计网站 郑州专业网站开发运营 网站搭建有什么好处 政府部门网站改版请示