Robots公文写作的标准是什么

　　三大搜索引擎巨头之间的较量是一种乐趣，但他们也偶尔会合作。去年Google、雅虎、微软合作并共同遵守统一Sitemaps标准。两天前，三大巨头同时宣布，共同遵守Robots的规定。TXT文件标准Google，雅虎，微软各在其官方博客上发帖，公布了Robots。TXT文件和Meta标签三家公司支持的标准，以及一些独特的标准。什么是Robots文件标准 让我们做个总结。

　　三家公司支持的Robots记录包括：

　　Disallow恩达什；告诉蜘蛛不要抓取某些文件或目录。以下代码将阻止蜘蛛抓取所有网站文件：

　　用户代理：*

　　Disallow: /

　　Allow恩达什；告诉爬行器抓取一些文件Allow和Disallow可以一起使用，告诉爬行器大多数文件不会在某个目录下抓取，而只抓取一部分。例如，下面的代码将使spider不获取AB目录下的其他文件，而只获取CD目录下的文件

　　用户代理：*

　　Disallow：/ab/

　　Allow：/ab/cd

　　$恩达斯；匹配URL结尾的字符。例如，以下代码将允许spider访问后缀的htmisURL：

　　用户代理：*

　　Allow: .htm$

　　*外卡恩达什；告诉蜘蛛匹配任何角色。例如，以下代码将禁止蜘蛛抓取所有htm文件：

　　用户代理：*

　　Disallow: /*.htm

　　Sitemaps位置ndash；告诉蜘蛛你的网站地图在哪里。格式为：

　　Sitemap:

　　Meta标签这三家公司都支持：

　　NOINDEX恩达什；告诉蜘蛛不要索引网页。

　　诺恩达什；告诉蜘蛛不要跟踪网上的链接。

　　NOSNIppET ndash公司；告诉蜘蛛不要在搜索结果中显示标题。

　　无政府主义者；告诉蜘蛛不要显示快照。

　　NOODP恩达什；告诉蜘蛛不要在开放目录中使用标题和描述。

　　这三家公司现在都支持这些记录或标签。看来雅虎微软不支持通配符百度现在也支持Disallow，Allow和两个通配符Meta标签我没有找到官方说法百度是否支持。

　　只有Google支持Meta标签是：

　　UNAVAILABLE在ndash之后；告诉爬行器页面何时过期。在此日期之后，它将不再出现在搜索结果中。

　　诺曼根达斯指数；告诉蜘蛛不要索引页面上的图像。

　　不翻译ndash；告诉蜘蛛不要翻译页面的内容。

　　雅虎还支持Meta标签：

　　Crawl-Delay恩达什；蜘蛛被允许延迟爬行的频率。

　　诺伊迪尔恩达什；类似于NOODP标记，但指的是雅虎目录而不是开放目录。

　　Robots-无内容；告诉蜘蛛标记的部分html不是网页内容的一部分，或者从另一个角度告诉蜘蛛哪个部分是网页的主要内容（要检索的内容）。

　　MSN还支持Meta标签：

　　Crawl-Delay

　　另外，值得关注的是Robots。TXT文件可能不存在，并返回404错误，这意味着允许蜘蛛抓取所有内容。但是，在爬网时Robots。TXT文件中，有一些超时等错误，这可能会导致搜索引擎不包括网站，因为蜘蛛不知道是否有Robots。TXT文件存在或其中包含什么，这与确认文件不存在不同。