为什么robots文件禁止抓取，日志中还是显示抓取？

江苏省太仓市2022-10-28 12

为什么禁止抓取robots文件，日志里还显示？为什么禁止抓取robots文件，日志里还显示？为什么robots文件被禁止抓取，但日志仍然显示抓取？禁止目录，例如disallow:/aa/。日志里还能看到爬AA目录的记录(设置robots后很久才发现) ltp gt ltstrong gt李佳凌说:

转载请注明原文地址:https://juke.outofmemory.cn/read/2252251.html

00 生成海报

抓取

禁止

文件

显示

日志

一篇文章site显示收录了，然后直接搜文章题目找不到是什么问题

上一篇2022-10-28

企业如何打造自有流量池？做好品牌流量？

下一篇2022-10-28

最新回复(0)