robots里面禁止了目录访问但是蜘蛛还是抓取了目录里的文件是什么原因？请教大神悬赏3元已结束

机器人禁止了目录访问，但蜘蛛还是抓取了目录中的文件。原因是什么？请大神打赏3元。机器人已经禁止了目录访问，但是蜘蛛还是抓取了目录中的文件。原因是什么？求大神奖励。3元已结束。简介:机器人写的内容，网站日志的内容，请教大神。 ltp gt ltstrong gt杨欣说: lt/p gt； ltp gt机器人屏蔽不代表搜索引擎不会抓取。只要有相关文档的链接，搜索