蜘蛛爬取重复的页面太多怎么处理？

蜘蛛抓取的重复页面太多怎么处理？蜘蛛抓取的重复页面太多怎么处理？简介:蜘蛛反复抓取页面，都是重复页面。为什么大量的重复页面，有的却没有被抓取？如何引导蜘蛛去抓取方法而不是总是抓取一个页面？有什么好办法吗？ ltp gt ltstrong gt得了癫痫没什么好说的: