在scrapy+redis实现分布式爬虫中,如何实现对各个分布的爬虫获取URL的均衡

在scrapy+redis实现分布式爬虫中,如何实现对各个分布的爬虫获取URL的均衡,第1张

在scrapy+redis分布式爬虫中,如何实现所有分布式爬虫获取URL的平衡。简介:我正在用scrapy+redis实现一个简单的分布式爬虫,但是运行后,一个爬虫爬得快,另一个爬虫爬得快。 慢慢爬,想请教各位如何实现redis对各个爬虫的URL获取速度或频率的控制,以达到平衡。 感谢解决方案

欢迎分享,转载请注明来源:聚客百科

原文地址: http://juke.outofmemory.cn/life/1885235.html

()
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-10-03
下一篇 2022-10-03

发表评论

登录后才能评论

评论列表(0条)

保存