一般的网站都有robots.txt吗？

所有网站都有robots.txt吗？所有网站都有robots.txt吗？简介:朋友给我的一个网站。我读过了。根目录下有一个robots.txt。里面的内容是: 用户代理:* 允许: 允许:/？ 允许:/domains/erpkingde