求助各位大佬我这个蜘蛛频繁的重复爬取同一个url是什么原因？

求助，伙计们。这个蜘蛛频繁反复抓取同一个网址是什么原因？求助，伙计们。这个蜘蛛频繁反复抓取同一个网址是什么原因？简介:这个网址不仅是图片，还有很多。一天5000个蜘蛛，大部分都是重复爬的。 ltp gt ltstrong gt�������������� ltp gt也许这个链接有更多的条目