scrapy下载规模的控制问题

username2022-10-07  7

scrapy下载规模的控制介绍:scrapy下载的控制主要是为了控制下载规模,避免引起下载网站的反感。 1.控制下载规模。除了设置参数DOWNLOAD_DELAY,一般怎么控制? 2.控制打开线程和内存的数量。
转载请注明原文地址:https://juke.outofmemory.cn/read/1945046.html

最新回复(0)