网站除了文章目录外其他是不是都可以写robots禁止？

除了文章目录以外的所有网站都可以写机器人吗？除了文章目录以外的所有网站都可以写机器人吗？简介:除了文章目录，网站上所有人都可以写机器人，这是被禁止的？ 如以下根目录的文件夹: ltp gt如果抢没什么问题，建议不要作弊。