是否应该屏蔽蜘蛛抓取JS和CSS文件

招联2022-10-10  4

是否应该阻止蜘蛛抓取JS和CSS文件?导读:很多网站查日志的时候, 你会发现JS和CSS文件被蜘蛛抓取的频率特别高, 于是有人考虑在robots.txt中屏蔽蜘蛛抓取js和css文件, 为其他页面节省蜘蛛时间。郭萍老师认为阻止这种文件不会
转载请注明原文地址:https://juke.outofmemory.cn/read/1995972.html

最新回复(0)