蜘蛛抓取重复的页面太多怎么办?

蜘蛛抓取重复页面太多怎么办？蜘蛛抓取重复页面太多怎么办？导读:最近不知道蜘蛛是在跟我开玩笑还是怎么的。他们总是抓取重复的页面。他们每次来网站抓取重复页面，都不抓取指定页面。这种情况持续了一个星期，再来一遍我就受不了了。我该怎么办？如何引导蜘蛛抓取其他页面？ ltp gt ltstrong gt之后，我的家乡只说: