爬虫大量抓取404页面，怎么破？

爬虫抓取了很多404页面。怎么破？爬虫抓取了很多404页面。怎么破？简介:我的网站有大量的404页面被百度爬虫抓取过，都是一些文档。我怎样才能打破它们？照这样下去，我要崩溃了。请帮我解决一下。 谢谢 lt；p gt ltstrong gt钟金元说: