请教大家下，网站日志应该怎么分析呢？悬赏3元已结束

请问网站日志应该怎么分析？3元奖励已结束。请教我们如何分析网站日志？3元的奖励已经结束。介绍:老师们，这是一个新的wordpress博客。我有几个问题要问。我发现抓取最多的页面是一个之前删除的分类目录，还有一些页面打不开。可以用Disallow:禁止抓取或者其他方法吗？看到百度抢了很多，就是打不开。