robots.txt文件中已经把许多文件禁止了，为什么百度蜘蛛的抓取日志中还有抓取记录？

robots.txt文件中已经禁止了很多文件。为什么百度蜘蛛的抓取日志里会有抓取记录？robots.txt文件中已经禁止了很多文件。为什么百度蜘蛛的抓取日志里会有抓取记录？简介:robots.txt文件中已经禁止了很多文件。为什么百度蜘蛛的抓取日志里会有抓取记录？ ltp gt ltstrong gt李治江说: ltp gt看是不是机器人。