在scrapy+redis实现分布式爬虫中，如何实现对各个分布的爬虫获取URL的均衡

描写秋天的一段话2022-10-03 15

在scrapy+redis分布式爬虫中，如何实现所有分布式爬虫获取URL的平衡。简介:我正在用scrapy+redis实现一个简单的分布式爬虫，但是运行后，一个爬虫爬得快，另一个爬虫爬得快。慢慢爬，想请教各位如何实现redis对各个爬虫的URL获取速度或频率的控制，以达到平衡。感谢解决方案

转载请注明原文地址:https://juke.outofmemory.cn/read/1885235.html

00 生成海报

爬虫

分布式

均衡

分布

获取

为什么Couldn't register this node

上一篇2022-10-3

firefox升个级，然后webdriver就出错了。。。

下一篇2022-10-3

最新回复(0)