WebMagic 断点续爬 有没有什么更好的方案啊？

WebMagic断点攀爬有没有更好的解决方案？WebMagic断点攀爬有没有更好的解决方案？导读:@黄毅华你好，想问你一个问题:WebMagic断点续传有没有更好的解决方案？目前我采用的方式是把所有收集到的地址都做上标记，判断是否已经收集，但是这种方式比较笨，在调度的时候显得太弱。