robots的写法，网站自动默认了禁止robots是怎么回事

机器人的写法，网站自动默认机器人是如何被禁止的。网站自动默认如何禁止机器人。简介:我有两个网站，都默认为机器人: 用户代理:* 不允许:/ 但这不就是阻碍抓捕吗？为什么会自动默认。而且我10月底上线的时候，还是收录的。后来11月份没收录，但是快了。