蜘蛛总是抓取重复页面怎么处理蜘蛛?

蜘蛛总是抓取重复的页面。怎么对付蜘蛛？蜘蛛总是抓取重复的页面。怎么对付蜘蛛？简介:网站蜘蛛是定期来的，它们经常准时来到网站。问题是它们在重复的页面上爬行。这已经重复了很多次。怎样才能引导蜘蛛在其他页面上爬行？不抓取其他页面是不行的。为什么蜘蛛会反复抓取一个页面？ ltp gt ltstrong gt时间会忘记说:lt