百度蜘蛛抓取robots屏蔽的目录，有人遇到吗

百度蜘蛛抓取机器人屏蔽的目录。有人遇到过百度蜘蛛抓取机器人屏蔽的目录吗？有人遇到过吗？简介:网站改版后，在机器人里屏蔽了一些目录，刚开始还能用。这几天查询网站日志，发现重复抓取，其他搜索引擎蜘蛛基本都是按照机器人抓取的。 这是正常现象吗？如果没有，有什么办法解决吗？ [标签:标签12