为什么在scrapy 的settings.py里启用了：　USER_AGENT　就什么也采不到了？　一关了就能采集到网页

为什么在scrapy的settings.py中启用了USER_AGENT的情况下什么都挑不到？一旦关闭，您可以收集网页。为什么在scrapy的设置里启用了. py: USER_AGENT不能收集任何东西？一旦关闭，可以收藏网页简介:百度贴吧收藏。 python 2.7.11 scrapy 1.3.3 只要在settings.py中启用了user_agent，无论使用以下哪种方法，都无法收集到任何东西。 并关闭此用途。