怎么让蜘蛛不爬取重复的页面？

如何让蜘蛛爬不到重复的页面？如何让蜘蛛爬不到重复的页面？简介:网站蜘蛛总是反复抓取页面，导致有些页面根本不被收录。这种情况已经持续一个月了，我不希望蜘蛛抓取重复的页面。如何禁止或引导蜘蛛抓取重复页面？谢谢大家的回答！ ltp gt ltstrong gt文茜说:

---