论蜘蛛重复爬取日志

论蜘蛛的重复爬行日志论蜘蛛的重复爬行日志简介:最近在分析网站日志时发现了一个奇怪的现象。同一时间同一篇文章被百度蜘蛛抓取了两次。这是什么意思？上图，我们就图中谈一谈，看看是网站的问题还是蜘蛛的问题