各位大神，目前在robots中可以禁止爬虫对端口内容的抓取吗？如果不能，那么应该怎么解决爬虫抓取端口的内容而不抓取正常网址呢？悬赏3元进行中

各位大神，目前有没有可能禁止爬虫抓取机器人中的端口内容？如果不是，那么爬虫爬取端口内容而不爬取正常网址的问题应该怎么解决？3元是悬赏。各位大神，目前可以禁止爬虫抓取机器人中的端口内容吗？如果不是，那么爬虫爬取端口内容而不爬取正常网址的问题应该怎么解决？3元奖励进行中介绍:最近正在优化一个自研网站，没有什么好办法解决这个问题。哪位大神有这方面的经验，请指教。 谢谢