网站蜘蛛总是爬取重复的页面怎么办？

网站总是抓取重复页面怎么办？网站总是抓取重复页面怎么办？简介:网站蜘蛛最近来网站有点频繁。问题是他们抓取了所有重复的页面。怎么做才能防止蜘蛛抓取重复页面？我没有更好的方法来抓取重复的页面？谢谢指导。 lt；p gt ltstrong gt胡汉三说: