如何屏蔽搜索引擎爬去三级域名

如何阻止搜索引擎爬至三级域名如何阻止搜索引擎爬至三级域名简介:abc.text.xxx.com欲禁止搜索引擎爬至*.text.xxx.com下所有子域名如何实现解决方案:可在 nbsp机器人加一条记录禁止搜索爬虫抓取，但是会遵守吗？要知道，这段时间，360和百度炸了。