蜘蛛抓取重复的页面太多怎么解决?新的不抓

如何解决蜘蛛抓取重复页面过多的问题？如何解决新的不抓蜘蛛，抓重复页太多的问题？新无抓取功能介绍:如何解决蜘蛛抓取重复页面过多的问题？新的不流行 ltp gt ltstrong gt福日说: lt/p gt； ltp gt然后你可以在频繁抓取的页面上放置一个指向新页面的内链，剩下的交给Spider L。