百度robots.txt上为何加User-agent: * Disallow:

百度robots.txt为什么要添加用户代理:* Disallow 百度的robots.txt结尾有两行 …… 用户代理:* disallow:/根据robots协议的规则，这应该是禁止的。