蜘蛛抓取了网站不存在的文件内容是怎么回事？

蜘蛛抓取网站上不存在的文件是怎么回事？蜘蛛抓取网站上不存在的文件是怎么回事？简介:网站刚开始在robots.txt中禁止所有蜘蛛，就在两天前，它被改为允许所有蜘蛛爬行。 但是今天分析日志的时候发现了几十个404错误，都是因为蜘蛛抓取了一个名为/Article/的文件中的图片 但是