搜索引擎蜘蛛在抓取网站过程中的策略
蜘蛛在爬行过程中面临着复杂的网络环境。为了使系统能够在不给网站体验造成压力的情况下，尽可能多地抓取有价值的资源，保持系统页面与实际环境的一致性，设计了更加复杂的抓取策略。下面简要介绍爬行过程中涉及的主要策略类型
1、抓取友好 抓取压力部署降低了访问网站的压力
2、通用抓取返回码指示
3、多个URL重定向的标识
4、抓取优先级分配
5、重复的URL筛选
6、暗网数据采集
7、抓取反作弊
8、提高爬行效率和有效利用带宽
一、抓取友好
互联网资源的巨大数量级要求爬行系统尽可能**地利用带宽，在有限的硬件和带宽资源下，尽可能多地抓取有价值的资源。这就产生了另一个问题，消耗了被抓取网站的带宽并造成访问压力。如果度过大，将直接影响被抓取网站的正常用户访问行为。因此，在抓取过程中，应进行一定的抓取压力控制，以达到在不影响网站正常用户访问的前提下，尽可能多地获取有价值的资源的目的。
通常，** 基本的是基于ip的压力控制。这是因为如果基于域名，可能存在一个域名对应多个ip(许多大型网站)或多个域名对应同一ip(小型网站共享ip)的问题。在实际应用中，压力分配控制通常是根据ip和域名的不同情况来进行的。同时，站长平台也推出了压力反馈工具。网站管理员可以手动调整网站的爬行压力。此时，百度蜘蛛将根据站长的要求优先进行抓取压力控制。
同一站点的爬行速度控制一般分为两类 一是一段时间内的爬行频率;二是一段时间内的爬行流量。同一站点在不同时间的爬行速度不同。例如，夜间时，爬行速度可能更快，这取决于特定的网站类型。其主要思想是错开正常用户的访问高峰，不断调整。对于不同的站点，也需要不同的爬行速度。
二、通用抓取返回码指示
简要介绍百度支持的几种返回码
1) ** 常见的404代表“未找到”。认为网页已过期，通常会在库中删除。同时，如果蜘蛛在短期内再次找到这个url，将不会被抓取;
2) 503代表“服务不可用”，认为网页暂时无法访问，通常网站暂时关闭，带宽有限。对于返回503状态码的网页，百度蜘蛛不会直接删除该网址，短期内会多次重复访问。如果网页已还原，则将正常对其进行抓取;如果继续返回503，则此URL仍将视为断开的链接并将其从库中删除。
3) 403代表“禁止”，并认为该网页目前被禁止访问。如果是新的url，蜘蛛暂时不会爬行，短期内会多次重复访问;如果是采集的url，则不会直接删除，短期内会多次访问。如果网页被正常访问，将被正常抓取;如果访问仍然被禁止，则此url也将被视为断开的链接并从库中删除。
4) 301代表被“永久地移动”，认为网页会重定向到新的url。在网站迁移、域名替换、网站改版等方面，建议使用301返回码，同时使用站长平台改版工具，减少改版带来的网站流量损失。
三、多个URL重定向的标识
由于各种原因，Internet上的某些网页具有url重定向状态。为了正常地抓取这部分资源，蜘蛛需要识别和判断url重定向并防止欺骗。重定向可分为三类 http 30x重定向、mate刷新重定向和js重定向。此外，百度还支持规范化标签，可以认为是一种间接重定向。
四、抓取优先级分配
由于互联网资源规模的巨大而快速的变化，搜索引擎几乎不可能全部抓取并合理更新以保持一致性，这就要求爬行系统设计一套合理的爬行优先级部署策略。主要包括 深度优先穿越策略、宽度优先穿越策略、PR优先策略、反链接策略、社会共享引导策略等。每种战略都有其优缺点。在实际应用中，为了达到** 佳的抓取效果，常常采用多种策略相结合。
五、重复的URL筛选
蜘蛛需要判断一个页面在爬行过程中是否已经被抓取，如果还没有被爬行，那么爬行该页面并将其放入已爬行的URL集合中。判断是否涉及核心是快速搜索和比较。它还涉及url规范化标识。例如，一个url包含许多无效参数，实际上是同一个页面，它将被视为同一个url。
六、暗网数据采集
互联网上有很多数据暂时无法被搜索引擎抓取，被称为暗网数据。一方面，网络数据库中存在大量的网站数据，蜘蛛通过抓取网页很难获得完整的内容，引擎无法抓取。目前，获取暗网数据的主要思路仍然是通过开放平台使用数据提交方式来解决问题，如“百度站长平台”等。
七、抓取反作弊
蜘蛛在爬行过程中经常遇到所谓的爬行黑洞或面对大量的低质量页面，这就要求爬行系统也要设计一个完整的爬行防作弊系统。例如url特征分析、页面大小和内容分析、爬行规模对应的站点规模分析等。
