百度蜘蛛怎么不访问robots.txt文件

百度蜘蛛为什么不访问robots.txt文件？简介:其他蜘蛛会先访问robots.txt文件，为什么百度蜘蛛没有访问呢？ ltp gt ltstrong gt叶抬脚说道: ltp gt当搜索引擎访问一个网站时，它是第一个访问它的。