日志分析程序设计-按照URL检索不同蜘蛛爬行页面数量以及返回的状态码

日志分析程序设计——搜索不同蜘蛛抓取页面的数量和url返回的状态码——搜索不同蜘蛛抓取页面的数量和URL返回的状态码。导读:问题描述最近很头疼。SEO需要分析公司网站的日志文件(nginx)，但是每天的日志文件有2G那么大。看到代码就让人想到崩溃，那就设置一个小程序，直接跟着栏目的网址走。