蜘蛛总是抓取重复的页面怎么指定的抓取?

蜘蛛总是抓取重复的页面。如何指定爬行？蜘蛛总是抓取重复的页面。如何指定爬行？简介:蜘蛛按时来到了网站，并且已经爬了很多次网页。问题是抓取的页面都是重复的，重复的页面被重复抓取。蜘蛛怎么爬不重复的页面？怎么才能禁止，不反复抢？ ltp gt ltstrong gt生活= π说: