分析网站日志找到页面不收录的原因

昨天有朋友问到，为什么** 近更新的商品页面百度都不收录，该朋友认为是页面结构出了问题。笔者习惯找依据，于是让朋友发来近几日的网站日志，果不其然，在网站日志里找到了页面不被百度收录的原因，更新的商品页面压根没有被百度蜘蛛抓取！连抓取都没有，何来页面收录呢！

笔者简要的分析网站日志，该站每天百度抓取量有7000多次，但绝大部分，甚至是98%以上的抓取都集中在数据库信息、css信息、js信息上，而商品页面一条抓取记录都没有！答案很明显了，之所以更新的商品页面没有被百度收录，是因为这些页面没有被抓取。

笔者分享这个案例的目的是想告诉大家，网站在seo过程中若是遇到问题，不要凭空去想原因，应该通过必要的数据分析科学的找到问题所在，从而调整措施。

朋友将该网站做了优化外包，每次问到为什么页面不收录及如何处理时，对方都回答主动提交链接！然而链接提交了仍然没有解决问题，这种回答是很不负责任的！

百度蜘蛛在某种意义上说有抓取记忆，如果长时间大量的抓取某类型的信息，那么它抓取的份额就会倾向于这类信息。这也能说明一个问题：为什么有些网站的某些栏目收录很好，而有些栏目基本不收录。

在分析完网站日志后，笔者又打开了网站的robots文件，发现robots文件里允许了图片的抓取，同时又没有限制对于css文件、js文件的抓取。这种设置方法是存在问题的，为此，笔者依据分析网站日志得到的信息，重新对robots文件进行了修改。

总结，影响页面收录的因素很多，其中** 基本的因素是搜索蜘蛛抓取，倘若没有抓取，那断然是不会被收录的！若是页面被蜘蛛成功抓取，但还是没有被收录，这就说明页面的内容质量不高。所以，如果我们遇到页面收录不好的情况，首先应该分析网站日志，若是抓取没问题，再去分析页面内容。