如何解决搜索引擎爬虫的重复抓取的问题

　　解决搜索引擎爬虫的重复爬行问题，不仅要了解搜索引擎爬虫本身，还要了解爬虫重复爬行的需要，从问题的根源入手，解决问题。以下是成都优化的一些经验分享。

　　对于每一个关键词优化从业者来说，爬虫每天都会来到我们的网站来抓取网页，这是一个非常有价值的资源。但是，由于中间爬虫的无序爬行，会浪费一些爬虫的爬行资源。中间，我们需要解决搜索引擎爬虫对网页的重复爬网问题。成都优化会和你谈谈如何解决这个问题。

　　在讨论这个问题之前，我们需要了解一个概念。首先，爬虫是一种无序的爬虫。他不知道先抓什么再抓什么。他只知道他看到了什么，经过计算，他认为爬行是有价值的。

　　对我们来说，在爬行的整个过程中，需要解决以下几类问题

　　尚未爬网的新生成页

　　生产一段时间

　　生产了一段时间，但还没有收录在内

　　长时间运行的页面，但** 近更新了

　　收录更多聚合页，如主页、列表页

　　对于上述类别，为了定义爬虫程序** 需要爬网的类别。

　　对于大型网站，搜索引擎爬虫会抓取过多的资源，而对于小型网站，爬虫资源是稀缺的。所以这里我们强调，我们不是要解决搜索爬虫引起的重复爬行问题，而是要解决搜索引擎爬虫对搜索页面的** 快爬行。纠正这个想法!

　　接下来，让我们谈谈如何让搜索引擎爬虫抓取我们想要的** 快的页面。

　　爬网程序是一个对网页进行爬网、从该网页中查找更多链接并重复该链接的过程。这时，我们必须知道，如果我们想被爬虫以更大的概率爬网，我们必须提供更多的链接到搜索引擎爬虫找到了我们想被爬网的网页。这里我以上面描述的第一个案例为例

　　尚未爬网的新生成页面

　　这种类型的文章通常是一个文章页。对于这类网站，我们的网站每天都会大量生成，所以我们需要在更多的页面上提供这部分链接。例如，主页、频道页面、节/列表页面、主题聚合页面，甚至文章页面本身都需要有** 新的文章节，以便等待爬虫程序在爬网我们的任何网页时找到** 新的文章。

　　同时，想象这么多页面都有指向新文章的链接，并且链接通过了权重。然后，新的文章已经被爬行，重量不低。索引的速度将显著提高。

　　对于那些长时间没有被包括在内的人，你也可以考虑体重是否过低。我给一些内链支持和通过一些重量。应该有收录的可能。当然，它可能不收录在内，那么你必须依赖内容本身的质量。前一篇文章致力于内容质量，欢迎大家阅读 哪些内容很容易被百度评为优质内容?.

　　因此，为了解决搜索引擎爬虫的重复爬行问题，并不是我们** 终的解决方案。由于搜索引擎爬虫在本质上是无序的，我们只能通过针对网站的架构、推荐算法和操作策略进行干预。使爬虫给我们更理想的抓取效果。