到底哪些是不想被抓取的页面，都有哪些呢？

有哪些不想被抓取的页面，有哪些？有哪些不想被抓取的页面，有哪些？导读:我一直被机器人屏蔽的问题所困扰，可能是因为我设置不了robots.txt文件。 还有人说可以用机器人屏蔽不想被搜索引擎抓取的页面，但我很困惑。有哪些不想被抓取的页面，有哪些？乞讨