这是由您的计算机或网络的管理员设置的防火墙。重点是防止爬行者翻墙。有两种主要的方法来删除:
1.在网站管理中，robots文件经常被站长忽略。如果机器人限制生效，那么，我们应该如何解除机器人限制？
1.修改robots限制声明，以确认蜘蛛可以访问网站的内部路径。文档更改为:
用户代理:*
允许:/
2.登录站长平台，手动更新robots文件，即通知蜘蛛“我的robots文件被修改了，快来看看！”
3.等待蜘蛛的正式造访；其实蜘蛛来了之后我才知道对机器人的限制已经解除了，但是百度服务器很多，也不是都同步那么快，需要等一些实际的东西。
4.后续需要监控蜘蛛的访问。如果过了一两个月还是没有动静，注意了解一下其他地方是否有机器人限制。
以上是解除机器人限制的具体流程。
2.在百度上输入想要打开的网页名称并搜索后，
了解更多，进入站长工具。
在Robots工具下，点击生成robots.txt，然后空在/开头输入要打开的网页的URL。只需点击创建。
