为什么谷歌蜘蛛那么多？都200W多了，有有效的屏蔽谷歌蜘蛛的方法吗？

巴萨六冠王2022-11-03 10

谷歌为什么有这么多蜘蛛？超过200W了。有没有有效的方法屏蔽谷歌蜘蛛？谷歌为什么有这么多蜘蛛？超过200W了。有没有有效的方法屏蔽谷歌蜘蛛？简介:它用的是时间人镜像站群，50个域名，收录了一大堆，就是每天N个以上谷歌蜘蛛的时候，量可以达到500W以上，服务器受不了。robots.txt屏蔽谷歌蜘蛛的方法不管用。请教有谁知道其他屏蔽方法。谢谢大家！

转载请注明原文地址:https://juke.outofmemory.cn/read/2333274.html

00 生成海报

蜘蛛

屏蔽

方法

因为采集导致文章不收录，蜘蛛也不爬取新文章了，持续输出高质量文章，多久可以恢复啊，有没有经历过的大佬

上一篇2022-11-3

大早上的，害，过来分蜘蛛了。

下一篇2022-11-3

最新回复(0)