企业互联专注网站建设+网站改版+新站seo优化,是专业的网站推广/网络推广外包公司
400 0082 880
全国服务,快速上排名
拥抱趋势 专业优化 快速打造能赚钱的网站
马上咨询

为什么robots禁止抓取了但搜索引擎还会抓取

^_^ 专业解答 ^_^

问题:为什么robots禁止抓取了但搜索引擎还会抓取?

回答:严格来说robots限制蜘蛛抓取,搜索引擎也是会遵循这个规则的,现在百度搜索引擎对于robots的态度是,依然会抓取,但是不会保留百度快照。其他搜索引擎基本也是同样的。

在百度百科里面有这么一条:robots协议并不是一个规范,而只是约定俗成的,所以并不能** 网站的隐私。

设置robots禁止抓取主要是基于两个原因:**个是新站调试期间,不想让搜索引擎抓取;第二个就是网站下某些目录页面,不想被搜索引擎抓取。对于**种,如果完全不想让搜索引擎抓取,你建议在本地测试,或者是采用其他的域名绑定线上测试,测试没有问题之后再绑定目标域名。至于第二种,其实是没有办法的,因为如果搜索引擎不按照robots规则,那我们似乎也没有什么好的办法阻止,如果搜索引擎收录了这些限制抓取的页面,只能去投诉快照了。

但是大家也要注意,搜索引擎抓取robots文件限制的页面,这对于网站来说并不会造成很大的影响。原则上说这不会浪费抓取份额,除了网站首页以后,也很少发现会收录robots限制抓取的内页。所以,大家也不要太过担心,搜索引擎想抓就让它去抓,如果收录了,就去投诉申请删除。

另外有朋友担心安全的问题,搜索引擎蜘蛛只是一个工具,它本身是没有恶意的,只是会按照规则去工作。大家也不要把搜索引擎想得那么坏,如果网站没有敏感的内容,在不影响到网站优化的情况下,让蜘蛛去抓取也没有什么损失。大家莫要惊慌哦!

关于为什么robots禁止抓取了但搜索引擎还会抓取的问题,本文就简单的说这么多。总之来说,理论上搜索引擎还是会遵循robots规则的,不会胡乱收录这些禁止收录的页面。

如何优化:
1.做网站优化要解决的主要问题 2.关键词优化效果等同于整站优化吗 3.长尾关键词的重要性 4.网站结构优化的方式 5.静态url VS 动态url 6.如何辨别友情链接交换中那些作弊行为 7.友情链接检查工具的使用 8.网站优化需要分析哪些数据
热门问答
  • 问题:网站每天什么时候更新** 好?问题补充:** 近听到很多大神说网站更新很重要,那么我想问下,这个更新的时间有没有要求呢,网站每天什么时候更新效果** 好呢?回答:理论上说,网站的内容建设越频繁越好,如果搜索引擎蜘蛛每次进来,都能发现新的内容,那么它就会相应的增加抓取频次。当然,有兴趣的朋友也可以做做测试,比如说故意在晚上更新,然后看看搜索引擎蜘蛛会不会正常抓取。总之来说,笔者认为网站更新跟时间没有太大的...详情查看
  • 问题:robots需要禁止后台目录吗?问题补充:在设置robots的时候不太确定是否要禁止后台目录,是否需要禁止呢?回答:要知道这个问题,首先得搞清楚robots的意思和作用,robots的作用主要是告诉搜索引擎哪些页面可以抓取收录,哪些页面不要抓取收录。通常来说,只要能打开的页面链接搜索引擎蜘蛛都会去抓取,而蜘蛛抓取对于单个网站来说是有配额的,如果抓取后台的次数多了,就浪费了对其他有用页面的抓取...详情查看
  • 可行的处理方法是是找收录比较多的网站做友链,然后更新原创文章同时将URL层级减少。网站被K后网站seo公司该如何应对?K即Kill,网站被K是每个从事网站seo工作的朋友们不愿意看见的事情,它意味着网站被封杀。但这样就有可能造成不放出收录(主要有可能是网站时常修修改改、网站打不开或存有灰色的域名历史等原因造成的)。主要的处理方法是增加关键词密度、删掉被K的友链、增加文章内链等。主要的处理方法是增加...详情查看
  • 问题:文章页面在sitemap地图上是否可以增加权重?问题补充:听说网站地图能够增加搜索引擎蜘蛛的抓取,那如果把文章页面的URL链接也放在sitemap上是不是还能增加权重呢?回答:sitemap的直接作用是让搜索引擎蜘蛛方便抓取,几乎所有的搜索引擎都会优先抓取网站地图,所以把文章页面的链接放在网站地图里面,可以增加被抓取的机会,但时是否能提升权重就不好说了。问题:文章页面在sitemap地图上是...详情查看