来源:本站日期:2017-7-7
各位站长朋友通常都会给自己的网站安装cnzz、百度统计等站长统计工具,可是,这些站长统计工具不会记录网络蜘蛛的爬取情况。一些站长朋友通常会用日志分析工具对网站日志分析蜘蛛爬取情况。我个人认为,可能大部分站长对网站日志的统计分析过程中,忽略了...
一、网站日志文件应该按访问量多少,来确定是否需要按小时生成。
一个站长朋友,网站是每天生成一个日志文件,前段时间他参加了电商圈比赛,网站排名保持在首页,每天的流量有上千IP,每天的网站日志文件大小大约50M左右,有点杯具的是他的电脑旧了点,一打开网站日志文件不是没反应就是死机。他只好通过网络把日志传给我,让我帮着分析一下,50M的文件虽然不大,问题是他用电信网络,我用网通网络,在传日志的时候经常杯具。50M的日志文件,我用的日志分析程序也经常数据溢出、崩溃,无奈只好用文本编辑打开查看,面对密密麻麻的日志文本,统计分析这些数据实在非常非常困难。所以,建议网站访问量比较大的站长朋友,最好按小时生成网站日志,虽然生成文件多了点,但更有利于网站日志的分析。
二、网站日志记录的信息实际并不完整。
不知道各位站长朋友,有没有注意到,网站日志里很少出5xx的返回代码。例如,500返回代码表示服务器内部错误,503返回代码表示服务不可用。各位站长朋友都知道,5xx返回代码一般意味着网站服务器出了故障,一般情况下,服务器出了故障是无法生成网站日志的。换个说法,当网站服务器宕机了,或者dns解析不了,所有人都无法访问,蜘蛛也无法访问,在这段时间里,网站日志肯定是无法记录任何信息的。