蜘蛛抓取日期目录，导致大量403，该如何处理？

蜘蛛抓取日期目录，产生大量403。我该怎么办？蜘蛛抓取日期目录，产生大量403。我该怎么办？简介:内容生成的URL结构包含日期目录:/20150513/id.html，目录无法访问，网站无入口。但是在日志中发现蜘蛛大量爬取日期目录。这种情况怎么处理？机器人不能用，却只能不断提交死链？