企业互联专业网站定制+品牌网站设计+集团网站建设
400 0082 880
全国服务,快速上排名
拥抱趋势 专业优化 快速打造能赚钱的网站
马上咨询

为什么robots禁止抓取了但搜索引擎还会抓取

^_^ 专业解答 ^_^

问题:为什么robots禁止抓取了但搜索引擎还会抓取?

回答:严格来说robots限制蜘蛛抓取,搜索引擎也是会遵循这个规则的,现在百度搜索引擎对于robots的态度是,依然会抓取,但是不会保留百度快照。其他搜索引擎基本也是同样的。

在百度百科里面有这么一条:robots协议并不是一个规范,而只是约定俗成的,所以并不能** 网站的隐私。

设置robots禁止抓取主要是基于两个原因:第一个是新站调试期间,不想让搜索引擎抓取;第二个就是网站下某些目录页面,不想被搜索引擎抓取。对于第一种,如果完全不想让搜索引擎抓取,你建议在本地测试,或者是采用其他的域名绑定线上测试,测试没有问题之后再绑定目标域名。至于第二种,其实是没有办法的,因为如果搜索引擎不按照robots规则,那我们似乎也没有什么好的办法阻止,如果搜索引擎收录了这些限制抓取的页面,只能去投诉快照了。

但是大家也要注意,搜索引擎抓取robots文件限制的页面,这对于网站来说并不会造成很大的影响。原则上说这不会浪费抓取份额,除了网站首页以后,也很少发现会收录robots限制抓取的内页。所以,大家也不要太过担心,搜索引擎想抓就让它去抓,如果收录了,就去投诉申请删除。

另外有朋友担心安全的问题,搜索引擎蜘蛛只是一个工具,它本身是没有恶意的,只是会按照规则去工作。大家也不要把搜索引擎想得那么坏,如果网站没有敏感的内容,在不影响到网站优化的情况下,让蜘蛛去抓取也没有什么损失。大家莫要惊慌哦!

关于为什么robots禁止抓取了但搜索引擎还会抓取的问题,本文就简单的说这么多。总之来说,理论上搜索引擎还是会遵循robots规则的,不会胡乱收录这些禁止收录的页面。

如何优化:
婚恋网站建设 舟山网站开发服务商 成都做网站建设 购物街网站建设 梅州网站开发加盟代理 盐城建设局网站 网站改版亮点怎么写文章 怀化网站定制怎么收费 php网站开发招聘 cms搭建网站
热门问答
  • 关于抓取诊断,笔者提醒大家,理论上这个抓取诊断只是普通的seo诊断,不会直接索引和收录页面。2、百度搜索方面的问题。所以大家想要增加网站收录的话,需要采取其他的办法,比如说提交链接等。2、百度搜索方面的问题。这个抓取诊断虽说原则上返回结果的时间会比较短,但很多时候因为系统本身的原因,这个结果迟迟得不到返回,笔者就见过很多次这样的情况...详情查看
  • 然后大家可以去搜索,比如搜索“企业网站”“自适应网站”等等,都能找到很多结果。不管是wordpress还是zblog或者是其他的网站程序,笔者都建议大家不要完全使用安装的模板,而是要在这些模板的基础上进行二次开发,这样会更加适合我们的业务需求,同时也** 了跟其他网站的区别。wordpress网站建设选择模板很方便,也很简单,但是要注意,很多模板是需要我们自己去调整的。不管是wordpress还是z...详情查看
  • 目前沐风工作室使用的是爱站工具,相对来说爱站工具seo文章原创度查询还是可以的。目前沐风工作室使用的是爱站工具,相对来说爱站工具seo文章原创度查询还是可以的。连百度搜索这样超级智能的工具都存在这么多的问题,那些小的seo智能伪原创工具就更不用说了。一、seo文章原创度查询seo文章原创度查询很简单,有很多的软件能够做到这个事情,比如说大家常用的爱站工具、麒麟工具等等,另外还有很多网站也提供在线原...详情查看
  • 各位站长朋友们需要引起注意改变思路了。我们seo者需要引起重视。我们seo者需要引起重视。我们seo者需要引起重视。二、信息传播的差异随着微博、qq以及微信等社交软件平台的迅速发展,移动端的内容分享传播途径愈发活跃,朋友看到有价值的东西都喜欢分享至微博、qq空间以及朋友圈...详情查看