屏蔽蜘蛛抓取特定文件的原因有哪些？

阻止蜘蛛抓取特定文件的原因是什么？阻止蜘蛛抓取特定文件的原因是什么？简介:新手，弄了个博客，看到别人的tags标签是禁止百度抓取的。想了一下，我走进了死胡同，求上帝救救我！ 站内禁止搜索页面的原因是什么？如果是为了防止重复抓取，那么我们站内的锚文本不会也引起搜索。