网站日志分析

 

从蜘蛛角度分析日志时一般直观得到：蜘蛛访问次数、蜘蛛停留时间、蜘蛛抓取量、与蜘蛛返回码。可以计算得到：蜘蛛平均停留时间、蜘蛛平均抓取量、蜘蛛唯一抓取量、蜘蛛重复抓取率。

 

平均停留时间说明蜘蛛爬行一个页面花费的时间长短，减少这个时间能让蜘蛛更高效的爬行你的网站。

 

蜘蛛返回码，可以反映一个页面被访问的情况，是能正常访问的200，还是做了重定向的301，还是服务器出问题的500。其中要重点关注的是404，如果有出现404那就要看下具体页面是否被删除，这个页面对你有没有价值，有价值就重新建下这个页面，没有价值直接robots屏蔽。

 

抓取量与平均抓取量的提升与下降，可以看出网站的结构是否合理，是否需要优化。

 

蜘蛛抓取间隔时间，从间隔时间的变化和返回码分析出网站在服务器端的问题。如服务器是否宕机，网站空间是否无法访问。

 

唯一抓取量，可以分析出网站是否让蜘蛛不断爬行无效页面，是否浪费很多蜘蛛，重复抓取并不能让收录量提升。