企业互联专业佛山网站设计+品牌网站建设+seo优化推广公司
400 0082 880
全国服务,快速上排名
拥抱趋势 专业优化 快速打造能赚钱的网站
马上咨询

为什么robots禁止抓取了但搜索引擎还会抓取

^_^ 专业解答 ^_^

问题:为什么robots禁止抓取了但搜索引擎还会抓取?

回答:严格来说robots限制蜘蛛抓取,搜索引擎也是会遵循这个规则的,现在百度搜索引擎对于robots的态度是,依然会抓取,但是不会保留百度快照。其他搜索引擎基本也是同样的。

在百度百科里面有这么一条:robots协议并不是一个规范,而只是约定俗成的,所以并不能** 网站的隐私。

设置robots禁止抓取主要是基于两个原因:第一个是新站调试期间,不想让搜索引擎抓取;第二个就是网站下某些目录页面,不想被搜索引擎抓取。对于第一种,如果完全不想让搜索引擎抓取,你建议在本地测试,或者是采用其他的域名绑定线上测试,测试没有问题之后再绑定目标域名。至于第二种,其实是没有办法的,因为如果搜索引擎不按照robots规则,那我们似乎也没有什么好的办法阻止,如果搜索引擎收录了这些限制抓取的页面,只能去投诉快照了。

但是大家也要注意,搜索引擎抓取robots文件限制的页面,这对于网站来说并不会造成很大的影响。原则上说这不会浪费抓取份额,除了网站首页以后,也很少发现会收录robots限制抓取的内页。所以,大家也不要太过担心,搜索引擎想抓就让它去抓,如果收录了,就去投诉申请删除。

另外有朋友担心安全的问题,搜索引擎蜘蛛只是一个工具,它本身是没有恶意的,只是会按照规则去工作。大家也不要把搜索引擎想得那么坏,如果网站没有敏感的内容,在不影响到网站优化的情况下,让蜘蛛去抓取也没有什么损失。大家莫要惊慌哦!

关于为什么robots禁止抓取了但搜索引擎还会抓取的问题,本文就简单的说这么多。总之来说,理论上搜索引擎还是会遵循robots规则的,不会胡乱收录这些禁止收录的页面。

如何优化:
企业网络推广 网站定制企业 宣传网站定制 企业高端网站定制 网站定制开发流程 网站定制需求 商城网站定制网站 营销网站定制公司 个性化网站定制 网站定制开发合同
热门问答
  • 理清各个栏目和页面的层级关系,每个页面有明确的导航,可以利用面包屑导航,按照页面设计做好各个页面的模版文件。做网站的时候,首先需要有个整体的规划,规划好关键词如何布局到整个网站,一般可以首页承载核心词和品牌词,栏目承载重点词,内页承载长尾词。所以做seo,必须先做好网站内部,这个是万层高楼的基础。1、代码精简:比如把css归类一个文件减少加载时请求服务器的次数;2、图片增加alt标签,告诉搜索引擎...详情查看
  • 但是,百度也没有给出很明确的标准,那么如何判断首页title关键词是否堆砌呢?回答:百度的做法向来如此,不会给出明确的标准的,判断首页title或者是其他页面title关键词是否过度重复,这需要我们自己去判断,而百度搜索只会根据它的标准去绝对是否已触犯规则。问题:如何判断首页title关键词是否堆砌?问题补充:** 近很多网站被百度细雨算法打击了,首页网站排名全部消失,而原因主要是首页title关键词...详情查看
  • 2、分析人气关键词针对网站进行百度搜索引擎优化的话,主要做的就是对网站进行一个排名上的seo,作用就是使用互联网的人,在搜索引擎中搜索关键词的时候,可以将网站展示在** 前端,如此一来自然就可以增加点击率和流量了,所以说进行百度搜索引擎优化的时候,关键词的选择也是不能忽视的,要选择人气高的词汇设为关键词,这样才会获得大众的关注和下意识的搜索,成功率才会高。3、关键词的投放当然了针对网站的营销宣传操作,...详情查看
  • 网站文件损坏,我们可以通过一些技术还原手段可以实现,比如模板文件丢失,我们换一套模板;网站文件丢失,我们可以再重新安装一次网站程序,但如果数据库丢失,相信技术再强的站长也是无力回天。成都seo外包公司建议大家需注意的是,备份数据库时需要查看相应文件的权限,否则备份的数据库将会出现问题。这对后期的网站seo起到很重要的作用。那么网站备份步骤是怎样的,有什么要求呢?下面成都seo外包公司企业互联教你网...详情查看