蜘蛛爬取页面重复页面太多怎么处理?

蜘蛛爬的重复页面太多怎么处理？蜘蛛爬的重复页面太多怎么处理？简介:蜘蛛每次都来网站，访问频率和次数都还可以。问题是蜘蛛爬出来的页面都是重复页面，这让我很纠结。蜘蛛如何停止反复抓取页面，能抓取指定页面吗？你有什么方法？ ltp gt ltstrong gt天空攻击狮说: