百度蜘蛛每天就是来访问一下robots文件，不爬取网页

百度蜘蛛每天都会访问robots文件，但不会抓取网页。百度蜘蛛每天都会访问robots文件，但不会抓取网页。简介:百度蜘蛛每天都会访问robots文件，但是不会抓取网页。 Google一直在增加词条数量，但是百度一两个月只收录第一页，其他页面不接受。 Http://www.butterpig.top每天都来看看吧