如何让百度蜘蛛不过度抓取不重要的目录？

如何让百度蜘蛛不过度抓取不重要的目录？如何让百度蜘蛛不过度抓取不重要的目录？简介:目前这个网站有几个不重要的目录是我管理的，但是百度蜘蛛抓取这些不重要的目录的次数太多了。我想让蜘蛛更好地抓取其他目录。 我想到的第一个方法是设置机器人不允许。 另一种方法是添加nofo。