蜘蛛爬取重复的页面太多是什么原因？

蜘蛛抓取重复页面过多的原因是什么？蜘蛛抓取重复页面过多的原因是什么？导读:蜘蛛有什么办法指定抓取页面？网站抓取的页面都是重复的，重复的页面是没有用的。蜘蛛会抓取所有指定的页面。引导蜘蛛爬行需要做什么？我要做什么呢？为什么蜘蛛会一直抓取页面？