新站/企业站 快速到首页
专业优化 快速打造能赚钱的网站
免费体验

z blog网站robots怎么设置

^_^ 专业解答 ^_^

问题:z-blog网站robots怎么设置?

回答:这个是问题是笔者看到有朋友在搜外上提问,稳到zblog网站robots文件设置的问题。具体内容如下:

为什么z-blog很多模板商、或者seo插件商都推荐下面这种robots写法?? 除了安装文件就这两个文件为什么要全禁止了?

怪的是全部禁止后通过站长工具检测居然是正常的,原理是什么回事,百度蜘蛛也都能正常抓取吗?

User-agent: *

Disallow: /zb_users/

Disallow: /zb_system/

Sitemap:

首先解释下,前面robots代码里写到的,是禁止zb_users和zb_system文件目录下文件被搜索引擎抓取,这样写是没有错的。因为这两个目录下的文件没有被抓取的必要。

那么为什么禁止蜘蛛抓取了,站长工具测试还是正常能抓取呢?原因可能有三个:

1、robots文件没有上传成功;

2、robots文件在搜索引擎那里没有更新;

3、站长工具检测不准。

解释了问题出现的原因,我们再来看看z-blog网站robots怎么设置。本站的主程序就是zblog的,来看看本站的robots文件,如下图:

z blog网站robots怎么设置

可以看到对于主站的zblog程序,笔者并没有设置任何的限制抓取,只是对于目录下的bbs论坛做了限制。事实上这没有任何的问题,也就是说对于zblog我们无需纠结哪些目录文件需要禁止抓取,直接开放全部抓取也不会出现影响。

robots文件的作用的确是存在的,对于内容比较多的大站来说,通过robots的设置,可以有效的调节蜘蛛抓取的资源。比如说商城网站会出现很多的帮助文档,这些帮助文档就可以通过robots的设置来限制抓取,从而节省了蜘蛛抓取频次。但是大家要注意一个问题,那就是对于那些正常不需要被抓取的页面,设置robots还是有必要的,但是对于zblog这种系统文件,设置与否其实无关紧要。如果硬是要去设置的话,按照前面代码那样做,是可以的。

关于z-blog网站robots怎么设置的问题,笔者就简要的说这么多。总之来说就是,zblog的系统文件不需要被抓取,但正常情况下搜索引擎也不会去抓取,所以设置与否其实没有很大影响。不想麻烦的话,直接全部开放抓取即可;实在不放心的,也可以去做下限制。

如何优化:
1.网站优化的基本原理 2.如何对目标关键词进行优化 3.选择长尾关键词应具备的技巧 4.优化网站结构代码 5.静态url VS 动态url 6.如何辨别友情链接交换中那些作弊行为 7.seo外链工具原理 8.网站优化需要分析哪些数据
热门问答
  • html后缀;内容详情页:以。这几个URL后缀是** 为常见的,但是这些不能对网站优化起到决定性的作用,他们的影响还是非常小的。html后缀是不会影响优化的。网站优化是个系统的工作,其涉及到的因素有很多,其中** 为基本也是** 重要的是内容,笔者一直建议大家要重视网站的内容建设,要从用户体验和用户需要出发,唯有这样,才能让网站能够有持久的发展。html后缀;内容详情页:以...详情查看
  • 如何提升百度对于新站的抓取频次呢?** 重要的就是加大内容建设的量,同时也可以适当的做作外链。笔者曾经给大家说过网站百度抓取频次太低怎么解决的问题,其中就提到很多种可以用的方式,这里大家考首先考虑下加大网站内容建设,让网站的内容丰富起来,这对于提升百度抓取频次是有帮助的。问题:为什么新站的抓取频次很低?问题补充:我的新站已经两个星期了,但是百度的抓取频次很低,基本都在个位数,请问下为什么新站的抓取频次...详情查看
  • 所以,内页与栏目页在排名上有什么区别?笔者认为哪个页面能更好的满足用户需求,那么哪个页面的排网站排名就会越好。笔者建议大家不用在这些问题上浪费时间,还是应该把精力放在分析用户需求,整理出更多的长尾关键词,然后再建设更多高质量的内容。至于它是频道页、栏目页还是tag聚合页面,关系都不大。笔者建议大家不用在这些问题上浪费时间,还是应该把精力放在分析用户需求,整理出更多的长尾关键词,然后再建设更多高质量...详情查看
  • 因为css文件只是站内页面样式文件,所以建议不要出现其他的外部链接,即便有需要调用外部的内容,也应该把这些内容整合到站内来。如果外站链接打开的速度快,则不会有啥影响。关于css里有外站链接会影响权重或者蜘蛛抓取的问题,笔者就简要的说这么多。如果css里有外站链接的话,会不会影响到网站权重呢?这个要分具体情况。关于css里有外站链接会影响权重或者蜘蛛抓取的问题,笔者就简要的说这么多...详情查看