网站蜘蛛抓取重复页面多次怎么解决？

如何解决蜘蛛多次抓取重复页面的问题？如何解决蜘蛛多次抓取重复页面的问题？简介:网站蜘蛛每天都在爬行，爬行次数正常。唯一的问题是所有被抓取的页面都是重复的。怎样才能让蜘蛛停止反复抓取页面链接？为什么蜘蛛只爬重复的页面，别人不爬？ ltp gt ltstrong gt常陆说: