百度蜘蛛频频抓取php文件怎么办悬赏1元已结束

百度蜘蛛频繁抓取php文件。奖励怎么做？1元已结束。百度蜘蛛频繁抓取php文件。奖励怎么做？1元已结束。导读:最近几天，网站抓取的频率猛增，但是有一个很头疼的问题。蜘蛛频繁抓取一些php文件，这些文件只是我程序的调用文件。 我已经禁止了robots文件的目录，但是我仍然可以抓取它。 导致网站内容抓取太少。 ，用机器人粘贴它