企业互联专注网站建设+网站改版+新站seo优化,是专业的网站推广/网络推广外包公司
400 0082 880
全国服务,快速上排名
拥抱趋势 专业优化 快速打造能赚钱的网站
马上咨询

为什么robots禁止抓取了但搜索引擎还会抓取

^_^ 专业解答 ^_^

问题:为什么robots禁止抓取了但搜索引擎还会抓取?

回答:严格来说robots限制蜘蛛抓取,搜索引擎也是会遵循这个规则的,现在百度搜索引擎对于robots的态度是,依然会抓取,但是不会保留百度快照。其他搜索引擎基本也是同样的。

在百度百科里面有这么一条:robots协议并不是一个规范,而只是约定俗成的,所以并不能** 网站的隐私。

设置robots禁止抓取主要是基于两个原因:**个是新站调试期间,不想让搜索引擎抓取;第二个就是网站下某些目录页面,不想被搜索引擎抓取。对于**种,如果完全不想让搜索引擎抓取,你建议在本地测试,或者是采用其他的域名绑定线上测试,测试没有问题之后再绑定目标域名。至于第二种,其实是没有办法的,因为如果搜索引擎不按照robots规则,那我们似乎也没有什么好的办法阻止,如果搜索引擎收录了这些限制抓取的页面,只能去投诉快照了。

但是大家也要注意,搜索引擎抓取robots文件限制的页面,这对于网站来说并不会造成很大的影响。原则上说这不会浪费抓取份额,除了网站首页以后,也很少发现会收录robots限制抓取的内页。所以,大家也不要太过担心,搜索引擎想抓就让它去抓,如果收录了,就去投诉申请删除。

另外有朋友担心安全的问题,搜索引擎蜘蛛只是一个工具,它本身是没有恶意的,只是会按照规则去工作。大家也不要把搜索引擎想得那么坏,如果网站没有敏感的内容,在不影响到网站优化的情况下,让蜘蛛去抓取也没有什么损失。大家莫要惊慌哦!

关于为什么robots禁止抓取了但搜索引擎还会抓取的问题,本文就简单的说这么多。总之来说,理论上搜索引擎还是会遵循robots规则的,不会胡乱收录这些禁止收录的页面。

如何优化:
1.网站优化的基本原理 2.没有指数的关键词可以做吗? 3.长尾关键词的重要性 4.网站结构优化思路 5.简述URL的作用和规范 6.什么样的优质友链才具备传递权重效果 7.友情链接检查工具的使用 8.SEO可以体现一个网站效果
热门问答
  • 这里,笔者建议大家要及时做好https的续费工作,如果实际不想续费的话,就要及时再将https的链接301跳转到http,这样就能将损失降低到** 低。问题:如果https不续费了会怎样?回答:https跟http是完全不同的URL链接,如果https不续费了,** 直接的后果就是正常的https链接将打不开,如果不及时加以处理的话,就会影响到网站权重。但是大家应该知道,再加上https证书的时候,需要把...详情查看
  • 搜索引擎收录页面的关键是看内容质量,网站首页是特殊的聚合页面,所以首页的质量不会差到被判断成垃圾页面。但是内容的收录,涉及到的因为就多了,这里不展开说明。搜索引擎收录页面的关键是看内容质量,网站首页是特殊的聚合页面,所以首页的质量不会差到被判断成垃圾页面。总之来说,网站首页的收录跟https没有直接关系,甚至https对于首页收录没有任何影响。因此,大家要理性的看到首页收录的问题,对于像https...详情查看
  • 10。收录少但是首页网站排名好,原因在哪?可能有几个方面:1。用户体验好,访客的各种数据好(网络推广不单只有seo优化,还有更多其他手段);5。多种原因结合。行业竞争小;3...详情查看
  • 其实这个问题很简单,我们只要简单的去分析搜索引擎工作原理就能明白了!首先搜索引擎会去记录违规的域名和内容,其次在审核新域名新连接的时候,搜索引擎也会跟已有数据库进行对比,如果发现新域名的网站跟之前被K的网站是一样的,是完全复制的!这种情况下,你觉得搜索引擎会给与好的评价吗?明显不会!但是有种情况是可以的,那就是对之前的网站内容进行整改,去掉那些违规的内容和操作方式,整改完以后再启用新的域名,这种方...详情查看