网站的Robots文件有必要设置吗

有必要设置网站的Robots文件吗？简介: ltp gt ltstrong gt米拉说: lt/p gt； ltp gt它可以指导蜘蛛的抓取行为