企业互联专业网站定制+品牌网站设计+集团网站建设
400 0082 880
如何行使robots协议seo你的WordPress博客站 robots.txt详解!
拥抱趋势 专业优化 快速打造能赚钱的网站
马上咨询
2017-03-10 09:40:53阅读:460来源:seo优化公司作者:企业互联
[导语]为您推荐文章《如何行使robots协议seo你的WordPress博客站 robots.txt详解!》(本文主要讲述:1、User-agent:*这里的*代表的所有的搜索引擎种类,*是一个通配符2、Disallow:/admin/这里定义是禁止爬寻admin目录下面的目录3、Disallow:/require/这里定义是禁止爬寻require目录下面的目录4、Disallow:/ABC/这里定义是禁止爬寻ABC目录下面的目录5、Disallow:/cgi-bin*/trackback//屏蔽wordpress分类......)如果你对文章有兴趣,欢迎关注我们
本文对460人有所帮助,共有924个文字,预计阅读所需时间3分钟

如何行使robots协议seo你的WordPress博客站 robots.txt详解!

  许多新手网站建设同伙对robots协议文件的紧张性不是很清楚,本篇文章由企鹅SEO博主普及一下WordPress站点robots协议文件编写知识。robots协议(也称为爬虫协议、机器人协议 等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。robots协议重要细致以下几大方面:

  1、指令区分大小写,忽略未知指令。

  2、每一行代表一个指令,空白和隔行会被忽略。

  3、“#”号后的字符参数会被忽略。

  4、有自力User-agent的规则,会排除在通配“*”User agent的规则之外。

  5、可以写入sitemap文件的链接,方便搜索引擎蜘蛛爬行整站内容。

  6、尽量少用Allow指令,由于不同的搜索引擎对不同位置的Allow指令会有不同看待。

  7、robots.txt 文件必须放在网站的根目录,不可以放在子目录。

  1、User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

  2、Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

  3、Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

  4、Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录

  5、Disallow: /cgi-bin*/trackback //屏蔽wordpress分类目录、文章页面的回评路径

  11、Disallow: /feed //屏蔽wordpress的内容订阅路径

  12、Disallow: feed //屏蔽wordpress分类目录、文章页面的订阅路径

  13、Disallow: /comments/feed //屏幕wordpress评论的订阅路径

  14、Disallow: /page/ //屏蔽默认的翻页路径

  15、Disallow: page/ //屏蔽分类目录的翻页路径

  16、Disallow: /page/1$ //屏蔽翻页路径中的数字路径

  17、Disallow: /tag/ //屏蔽标签页面

  18、Disallow: /?s=* //屏蔽搜索效果路径,重要是避免搜索效果的缓存被搜索引擎收录

  19、Disallow: /date/ //屏蔽按日期分类表现的列表页面

  20、Disallow: /author/ //屏蔽作者文章列表页面

  21、Disallow: /category/ //屏蔽以category为肇端路径的分类路径,假如您没有使用插件生成不带category前缀的路径时,请不要使用此项规则。

  22、Disallow: /wp-login.php //屏蔽后台登陆页面

  23、Disallow: /attachment/

  禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。

  1、写好之后把文件重命名为:robots.txt 然后用FTP上传到网站的根目录下面,切记不是主题的根目录下而是网站的根目录。

  2、行使站长工具主动生成,网址:

  3、行使优化插件设置,比如Yoast SEO、all in one 优化

  1、指导搜索引擎蜘蛛抓取指定栏目或内容;

  2、网站改版或者URL重写seo时候屏蔽对搜索引擎不友爱的链接;

  3、屏蔽死链接、404错误页面;

  4、屏蔽无内容、无价值页面;

  5、屏蔽重复页面,如评论页、搜索效果页;

  6、屏蔽任何不想被收录的页面;

  7、指导蜘蛛抓取网站地图;

  1、WordPress站点默认在欣赏器中输入:HTTP://你的域名/robots.txt

  比如本企鹅优化博客:

  2、打开FTP,找到网站根目录查看robots.txt文件

  总结:robots协议必要的细致地方,以及写法,设置方法,作用,如何查看就介绍到这里,信赖大家对robot协议已经有了比较细致的了解。使用好robots协议对于我们网站的SEO有偏重要作用,做的好可以有用的屏蔽那些我们不想让搜索引擎抓取的页面,也就是对用户体验不高的页面,从而将有利于网站排名的内页充分展示个客户,获得搜索引擎对站内页面的权重,从而有利于我们将网站网站排名做的更好,从而获取更多流量。

  如何利用Robots.txtseo你的WordPress站点

如何优化:
婚恋网站建设 舟山网站开发服务商 成都做网站建设 购物街网站建设 梅州网站开发加盟代理 盐城建设局网站 网站改版亮点怎么写文章 怀化网站定制怎么收费 php网站开发招聘 cms搭建网站
总访问数:48546263 文章总数:13698 建站天数:3358
相关阅读
01
seo中需要关注的四个方面
  、网站总体结构一定要好。seo中需要关注哪些方面?对于网站优劣的判断,是从各个方面来看的,因此我们在做seo的时候一定要兼顾多个方面,下面企业互联为大家介绍网站seo中更该关注的四个方面,希望能对大家有所帮助。seo中需要关注哪些方面?对于网站优劣的判断,是从各个方面来看的,因此我们在做seo的时候一定要兼顾多个方面,下面企业互联为大家介绍网站seo中更该关注的四个方面,希望能对大家有所帮助。第二......[详情查看]
02
传统企业seo技巧
  能够让访客得到满足的就是对于关键词的布置,需要保持一定的密度,在之前是关键词密度越高越好,但是现在的算法已经有了改变,因此现在** 好不要设置太高的关键词,一般达到三个左右的数量即可,在** 吸引到访客注意的同时,让系统对于本身的推动达到一个高的效果中,这样的做法对于网站提升影响力** 有效果。那么传统企业SEO站内seo的方法有哪些呢?坚持原创内容在任何时候都是引发更多人关注的一个主要内容,同时也是搜索引......[详情查看]
03
前端优化该学习什么
  在技术博客里,提及这一块的也寥寥无几。收录有个时间过程,请先耐心等待;实时提交。实际上优化对于前端来讲很有必要,学习一些通用的优化技术,网站前端工作人员不可避免的会与优化打交道,会优化的前端也会更吃香。我们在百度搜索“优化教程”,排在第一的是优化教程自学网https://www。于是,开发者开始想别的解决方案,比如检测到是爬虫过来,单独把它转发到一个专门的路由去渲染,比如基于Node......[详情查看]
04
段亮优化:学习优化需要什么基础技术?
  你会不会有想法马上关掉网站,去下一个网站需找你想要的东西呢?所以说这就是所谓的用户体验(用户需求)。百度为了更好的留住用户,那么只有对算法不断的变更,更好的提升用户体验。很多企业网站基本排版循序都是网站的logo-导航-左边产品导航-右边公司简介-然后接下来才是展品的展示-** 后才是网站的文章(用户的问答需求)。百度才会把他的产品放上来的。“;工欲善其事,必先利其器”;想必大家都......[详情查看]
05
已经收录的文章能修改吗?应注意些什么?
  已经收录的文章能修改吗?应注意些什么?很多SEO人员非常纠结的一个问题,那就是对于自己站内已经收录的文章能不能作二次修改,主要是害怕丧失此页面的收录,甚至影响到首页的排名。2、文章不要大批量的修改大批量改基本就相当于网站改版了,如果不是因为自己网站业务的转变,这种做法相信一般很少人会去做,基本上也很难找到这样改的理由,总之这么做的风险就是会直接造成这些文章页进入沙盒。2、文章不要大批量的修改大批量......[详情查看]
06
城市搜索引擎方面知识
  比较济南优化也需要多方面的去考虑这些搜索用户以及搜索引擎在这方面的心理和规则,这样在长期的发展下才能获得有利地位,能够更加的获得搜索用户对于这座城市的点击量。比较济南优化也需要多方面的去考虑这些搜索用户以及搜索引擎在这方面的心理和规则,这样在长期的发展下才能获得有利地位,能够更加的获得搜索用户对于这座城市的点击量。比较济南优化也需要多方面的去考虑这些搜索用户以及搜索引擎在这方面的心理和规则,这样在......[详情查看]
07
SEO学习中庸之道 寻求用户体验
  事实上,专注于空间,服务器的稳定性,也就是专注于用户体验的过程网站推广以企业产品或服务为核心内容,建立网站,再把这个网站通过各种免费或收费渠道展示给网民的一种推广方式,网站推广可以做到小投入大回报的效果。内容是王,如果我们把内容做好,我们就能做好每一件事SEO为了从搜索引擎中获得更多的免费流量,从网站结构、内容建设方案、用户互动传播、页面等角度进行合理规划,使网站更适合搜索引擎的索引原则的行为;使......[详情查看]
08
百度搜索引擎优化为什么要先做长尾词排名?
  所以,搜索引擎优化对于各个站长显得尤为重要。所以我们可以通过针对网站的长尾关键词进行seo,长尾词由于其热度相对关键词较低,seo相对容易,通过长尾词可以为网站带来一部分流量,这样也起到了对搜索引擎优化作用,能间接的提高网站关键词的排名,这样提高的排名相对比较稳定不会有很大的变动。所以我们可以通过针对网站的长尾关键词进行seo,长尾词由于其热度相对关键词较低,seo相对容易,通过长尾词可以为网站带......[详情查看]