网站蜘蛛爬取页面重复怎么解决蜘蛛的问题？

网站反复抓取页面如何解决蜘蛛问题？网站反复抓取页面如何解决蜘蛛问题？简介:网站蜘蛛每天按时来网站抓取页面，抓取次数也比较多。很多页面重复太多，重复的页面抓取没有效果。如何引导蜘蛛正常爬行？为什么蜘蛛总是抓取重复的页面？有什么办法可以先引导蜘蛛？谢谢学长