robot.txt禁止的内容搜索引擎仍然爬行

robot.txt禁止的内容搜索引擎依然抓取。robot.txt禁止的内容搜索引擎依然抓取。简介:WordPress程序搭建的网站，在网站的根目录下也有robot.txt文件。robot.txt文件将文件写入禁止搜索引擎抓取的主题目录中，但在网站日志中仍能看到抓取。 请各位大神看看。是机器人。