求解，在robots些了禁止抓取的目录在日志文件中依然大量抓取

解决，在robots中，一些禁止目录仍然在日志文件中被爬取，但是在robots中，一些禁止目录仍然在日志文件中被爬取。简介:问题描述:我一直在查网站日志文件，但是发现蜘蛛爬出来的页面大部分都是不需要爬的文件，比如js css图片，模板目录，但是爬出来的目录和内页爬的不好！我以前写过robots shield不抓取模板目录，但我不知道。