网站抓取频率的问题，请大家帮忙看看。

网站抓取频率的问题，请大家帮忙看一下。 网站抓取频率的问题，请大家帮忙看一下。 简介:大型网站的抓取频率大概是一天15W到20W次，404页面大概是一天7000-1W。404太多了吗？怎么处理？44页面抓取频率，由于网站偏社区，需要删除的广告页面比较多~所以必然会产生大量。