企业互联专业网站定制+品牌网站设计+集团网站建设
400 0082 880
Robots文件标准写作 标准是什么?
拥抱趋势 专业优化 快速打造能赚钱的网站
马上咨询
2020-11-21 09:26:53阅读:500来源:seo优化公司作者:企业互联
[导语]为您推荐文章《Robots文件标准写作 标准是什么?》(本文主要讲述:NOSNIPPET–告诉蜘蛛不要在搜索结果中显示说明文字。Google,雅虎,微软各自在自己的官方博客上发了一篇帖子,公布三家都支持的robots。MSN还支持Meta标签:Crawl-Delay另外提醒大家注意的是,robots。如下面一段代码将禁止蜘蛛抓取所有htm文件:User-agent:*Disallow:/*。txt文件标准......)如果你对文章有兴趣,欢迎关注我们
本文对500人有所帮助,共有732个文字,预计阅读所需时间2分钟

Robots文件标准写作 标准是什么?

  搜索引擎三巨头打的不亦乐乎,但偶尔也合作一下。去年Google,雅虎,微软就合作,共同遵守统一的Sitemaps标准。前两天三巨头又同时宣布,共同遵守的robots.txt文件标准。Google,雅虎,微软各自在自己的官方博客上发了一篇帖子,公布三家都支持的robots.txt文件及Meta标签的标准,以及一些各自特有的标准。那Robots文件标准写作标准是什么?下面做一个总结。

  三家都支持的robots文件记录包括:

  Disallow – 告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件:

  User-agent: *

  Disallow: /

  Allow – 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用,可以告诉蜘蛛某个目录下,大部分都不抓取,只抓取一部分。如下面代码将使蜘蛛不抓取ab目录下其他文件,而只抓取其中cd下的文件:

  User-agent: *

  Disallow: /ab/

  Allow: /ab/cd

  $通配符 – 匹配URL结尾的字符。如下面代码将允许蜘蛛访问以。htm为后缀的URL:

  User-agent: *

  Allow: .htm$

  *通配符 – 告诉蜘蛛匹配任意一段字符。如下面一段代码将禁止蜘蛛抓取所有htm文件:

  User-agent: *

  Disallow: /*.htm

  Sitemaps位置 – 告诉蜘蛛你的网站地图在哪里,格式为:

  Sitemap:

  三家都支持的Meta标签包括:

  NOINDEX – 告诉蜘蛛不要索引某个网页。

  NOFOLLOW – 告诉蜘蛛不要跟踪网页上的链接。

  NOSNIPPET – 告诉蜘蛛不要在搜索结果中显示说明文字。

  NOARCHIVE – 告诉蜘蛛不要显示快照。

  NOODP – 告诉蜘蛛不要使用开放目录中的标题和说明。

  

  上面这些记录或标签,现在三家都共同支持。其中通配符好像以前雅虎微软并不支持。百度现在也支持Disallow,Allow及两种通配符。Meta标签我没有找到百度是否支持的官方说明。

  只有Google支持的Meta标签有:

  UNAVAILABLE_AFTER – 告诉蜘蛛网页什么时候过期。在这个日期之后,不应该再出现在搜索结果中。

  NOIMAGEINDEX – 告诉蜘蛛不要索引页面上的图片。

  NOTRANSLATE – 告诉蜘蛛不要翻译页面内容。

  雅虎还支持Meta标签:

  Crawl-Delay – 允许蜘蛛延时抓取的频率。

  NOYDIR – 和NOODP标签相似,但是指雅虎目录,而不是开放目录。

  Robots-nocontent – 告诉蜘蛛被标注的部分html不是网页内容的一部分,或者换个角度,告诉蜘蛛哪些部分是页面的主要内容(想被检索的内容)。

  MSN还支持Meta标签:

  Crawl-Delay

  另外提醒大家注意的是,robots.txt文件可以不存在,返回404错误,意味着允许蜘蛛抓取所有内容。但抓取robots.txt文件时却发生超时之类的错误,可能导致搜索引擎不收录网站,因为蜘蛛不知道robots.txt文件是否存在或者里面有什么内容,这与确认文件不存在是不一样的。

如何优化:
婚恋网站建设 舟山网站开发服务商 成都做网站建设 购物街网站建设 梅州网站开发加盟代理 盐城建设局网站 网站改版亮点怎么写文章 怀化网站定制怎么收费 php网站开发招聘 cms搭建网站
总访问数:48536161 文章总数:13698 建站天数:3357
相关阅读
01
初学者可以使用哪些技能来推广网站?
  问答促销,这种方法说起来难,说起来容易百度推广审视您的每个推广计划和推广单元,看是否可以有seo的空间SEO为了从搜索引擎中获得更多的免费流量,从网站结构、内容建设方案、用户互动传播、页面等角度进行合理规划,使网站更适合搜索引擎的索引原则的行为;使网站更适合搜索引擎的索引原则又被称为对关键词优化,对关键词优化不仅能够提高SEO的效果,还会使搜索引擎中显示的网站相关信息对用户来说更具有吸引力。我希望......[详情查看]
02
网站不被搜索引擎收录的解决办法
  编辑提醒大家,比如大量页面被删除,页面标题被修改,程序和网站模块频繁变化,致使网站由于搜索引擎的右降而没有收录在很多内部页面中。4、注意搜索反馈:如果长时间不收录,可以向搜索引擎投诉获取反馈。即使很多人会告诉你,如果你不收录它,你需要吸引流量的网站和蜘蛛抓取你的网页。如果该网站成立20天以上,且不收录主页,则该网站的域名可能被搜索引擎列入黑名单。例如:主页导航、页面块样式、各栏页面块模型、内部页面......[详情查看]
03
这样就能把下拉框做出来
  这样就能把下拉框做出来大家都知道百度有个搜索下拉框和相关搜索。下面我们来看看以下几个可行的方案:说之前我们先定义几个概念:打开浏览器,在百度搜索框中输入主关键字,点击搜索(主关键字就是百度搜索指数比较高的跟你的网站相关的搜索词,当然此时你的网站在该关键字下没有好的排名,否则你没必要做这个,已经排名前几了还做他干甚?),点击完搜索后,把浏览器里面的url复制下来,这里叫做urlA,然后你再搜索副关键......[详情查看]
04
扪心自问你是不是在凭良心做博客
  我不知道已经提过多少回了,从始至终,我的博客文章都是我自己亲手所写,哪怕写的不是很好,至少我是凭良心在做我自己的优化博客,但是总有人就是昧着良心做博客,复制抄袭别人的文章,把别人辛辛苦苦写的文章拿过去三改两改就当自己的了,更甚者什么都不改动就原封不动的照搬过去,连个链接地址都不留。这些道理我想大家一定都很明白,就是因为这样的原因从而助长了那些黑良心的站长专门盗窃别人网站文章的念头。刚开始找到他,他......[详情查看]
05
飞鸟排名网站seo软件v4.7.6免费版下载
  然后点击目标网页。电脑环境各不相同,能提高来自搜索引擎的点击率,挂机有积分即可免费使用,随机停留数秒后进行二次点击,2、操作简单,增强用户体验,真实、快速、精准1、完全模拟真实用户操作,无资金担忧,避免空点,将真实演绎到底!2、有针对性点击,软件完全由公司自主研发,可以搜索百度、搜狗、360、淘宝,提**率!3、自动清空浏览痕迹、cookies、清除浏览缓存。电脑环境各不相同,能提高来自搜索引擎的......[详情查看]
06
网站seo提升需要注意哪些方面
  我们在更新内容的时候要注意质量更好是原创,文章内容一定要符合用户的搜索需求,并且多关注发布文章的用户体验,一切站在用户的角度去思索就不容易引起seo过度的问题发生了。随着互联网的快速发展,企业对网站的需求变得越来越大,然而想要在搜索的红海中获得更好的排名,需要做好seo,众多周知网站seo是一门技术和艺术结合的工作,我们不能为了seo而seo,凡事都是有个基础的指标,也就是所说的度,过犹不及是的事......[详情查看]
07
一套不缺流量的网络营销案例** 客户源源不断
  这么一倒腾,抠门的农村消费群体都纷纷缴械,愣是把高单价产品在“低价值”用户群推销了出去。小小的一句推销话术,转化率截然不同,有经验的服务员往往会在你脑子里下个锚预设你要点汤,接下来只是点哪个的问题。这可以很好地让消费者说服自己,便宜也能买到好货。在说一个好玩的例子,很多自称营销人的人,洒家一瞅他朋友圈往往很容易看出他的师承,因为一般人很难走出第一个师傅的影响形成自己的风格。3,在定价、推销策略上面......[详情查看]
08
如何通过关键词来促进网站的快速排名
  针对网站快速排名seo中,很多的站长在网站关键词的设置中直接就使用行业核心关键词,其实这是属于误区,核心关键词流量确实是比较大的,但是相对来说在竞争上也是非常大,所以在前期想要快速的做seo的时候要为网站加入一些长尾词,这样在网站快速排名seo的时候才能够得到保障。其实,在网站快速排名seo上首页的过程中,关键词的布局一定要去注意,通过关键词是可以得到搜索引擎的收录,但是关键词要做到合理布局,一篇......[详情查看]