robots已经屏蔽了动态url，为什么蜘蛛还在抓

机器人已经屏蔽了动态网址。为什么蜘蛛还在抓它们？为什么蜘蛛还在抓它们？导读:首先我和技术沟通了关于用动态URL跳转的问题，但是我忘了技术说的是什么原因。看起来这些动态URL其实是空，所以我都屏蔽了，但是蜘蛛每天还是在抓很多。有什么解释？你为什么不尊重我的机器人协会？