如何不让蜘蛛抓取重复页面禁止？

如何防止蜘蛛抓取重复页面？如何防止蜘蛛抓取重复页面？简介:蜘蛛总是爬我网站重复的页面。抓取的频率很高，其他页面不抓取。怎样才能把蜘蛛引到指定页面抓取指定页面，并且不重复抓取页面？有什么好的方法推荐吗？谢谢大家！ ltp gt ltstrong gt流浪狼战士说道: