网站目录抓取和索引不成正比

目录抓取和索引不成比例。导言:背景资料: 在新闻页面被黑链链接之前，产生了大量的垃圾页面和垃圾链接。蜘蛛疯狂抓取新闻页面，技术机器人屏蔽新闻抓取，现在垃圾页面404已经发布。新闻页面的文章数量差不多3000+，但是收录的文章数量不到1篇。