蜘蛛抓取本身不存在的页面是怎么回事？

蜘蛛抓取不存在的页面是怎么回事？蜘蛛抓取不存在的页面是怎么回事？简介:如题所示，我们网站的结构是com/column/date/文章页码。一个栏目目前只有1440页，但是蜘蛛总是抓取10000+个不存在的页面，然后百度站长会在这里显示抓取异常，返回404。有些老板知道这是怎么发生的。