百度蜘蛛就只抓robots咋回事？

百度蜘蛛只抓机器人。为什么？百度蜘蛛只抓机器人。为什么？简介:每天来这里都可以抓取主页，抓取几次机器人，主页就收录了。内页会被没收，机器人天天被抓。协议有问题吗？请帮我看一下。 ltp gt ltstrong gtJgy说:

---