蜘蛛总是抓取重复的页面怎么解决问题？

蜘蛛如何总是抓取重复的页面来解决问题？蜘蛛如何总是抓取重复的页面来解决问题？简介:蜘蛛爬的次数比较多，但问题是每次蜘蛛爬页面都是反复爬页面。这是怎么回事？为什么大量蜘蛛每天重复抓取页面？有什么办法可以停止反复抓取页面，让蜘蛛正确抓取页面？我该怎么办？ [标签:马克