如何避免蜘蛛重复抓取一个页面？

如何防止蜘蛛反复抓取一个页面？如何防止蜘蛛反复抓取一个页面？简介:我的网站蜘蛛经常抓取，但是抓取的页面都是重复的，指定的页面反而没有抓取。我可以添加一个nofollow标签来禁止蜘蛛抓取重复的页面吗？如何引导蜘蛛抓取想要的页面？谢谢你，朋友！ ltp gt ltstrong gt三郎太说: