搜狗蜘蛛抓取页面，乱抓取

蜘蛛在搜狗爬网页，在搜狗爬网页，乱爬网页介绍:总是爬一些不存在的网页，怎么解决？ ltp gt ltstrong gt谭兴辉说道: ltp gt提交Robots.txt文件，这对搜狗也很有用。在搜狗的网站管理员工具中也有这个项目。