求解答，为何百度蜘蛛总是来看抓取我的robots文件喃，其他页面也不抓取悬赏1元已结束

求解答，为什么百度蜘蛛总是来看抢我的robots文件，其他页面不抢打赏。1元已求完答案，为什么百度蜘蛛总是来看抢我的robots文件，其他页面不抢打赏。1元已完简介:求解答，我的www.cdljzc.com站点，为什么百度蜘蛛老是来看抢我的robots文件，却不抢别的页面，就这样盯着robots文件一天抢几十次，我也没有robots。