发现一个困惑的问题，关于百度抓取js和css

发现一个比较混乱的问题，关于百度抓取js和css。关于百度抓取js和css介绍:昨天我分析了爬虫日志，发现百度抓取css和js次数达到了30%。 我在robots.txt，禁止抓取相关目录。这是怎么回事？如何引导爬虫抓取内容？ 我现在的想法是在nginx中判断user_a。