robots具体应该禁止些什么文件?

机器人具体应该禁止哪些文件？机器人具体应该禁止哪些文件？机器人是为了节省蜘蛛资源，让蜘蛛更快更有效地爬行和收集而写的！所以不要让蜘蛛抓取一些没有价值的页面，浪费蜘蛛资源，从而导致网站延迟，排名不上！这里有一些例子:1。模板文件(/te