网站蜘蛛爬取重复的页面太多怎么解决?一直不抓新内容？

如何解决蜘蛛抓取重复页面过多的问题？不要老是抓新内容？如何解决蜘蛛抓取重复页面过多的问题？不要老是抓新内容？网站蜘蛛抓取了太多重复的页面。怎么解决？不要老是抓新内容？ ltp gt ltstrong gt冯说道: ltp gt用内链连接你要抓取的页面。 lt/p gt；lt