robots.txt 设置有必要吗？

有必要设置robots.txt吗？有必要设置robots.txt吗？简介:有些网站不用设置robote排名也很好。小玩意还有价值吗？Robots是网站和爬虫之间的协议，用简单直接的txt格式文本告诉对应的爬虫所允许的权限，也就是说robots.txt是搜索引擎访问一个网站时，