robots.txt必须要做吗？悬赏3元已结束

robots.txt一定要做吗？3元奖励已结束。robots.txt一定要做吗？3元的奖励已经结束。简介:robots.txt之前在网站上做过，后来不知什么原因被技术删除了。现在来自百度的测试显示是404。 请问没有robots.txt可能吗？百度官方表示:如果想让搜索引擎收录网站上的所有内容，请不要设置ro。