robot.txt只允许搜索引擎抓取指定目录怎么写?悬赏1元已结束

Robot.txt只允许搜索引擎抓取指定目录。1元奖励已结束。robot.txt只允许搜索引擎抓取指定目录。1元奖励已结束。简介:例如，只有搜索引擎被允许访问三个目录。不允许对除以下三列之外的所有目录进行爬网。 目的是防止搜索引擎抓取网站根目录以外的虚假页面，所以我只是想允许搜索引擎抓取网站及其下的指定目录。 示例:/123/