关于百度蜘蛛爬行问题

关于百度蜘蛛抓取介绍关于百度蜘蛛抓取:我有一个网站，现在每天都有大量的蜘蛛抓取，但是这个抓取消耗了大量的网站资源。查完日记，这些抓取并不能给网站本身带来太大的作用。现在，我想问大家，我有什么办法可以阻止蜘蛛对特定网址的抓取？