webmagic是否支持robots协议

webmagic支持robots协议吗？简介:@丮丮丮丮丮丮你好，我想问你一个问题:webmagic支持robots协议吗？找不到相关代码。如果不支持，要不要考虑添加解决方案:< p gt这个问题已经问过了，目前不支持。 http://www.oschina.net/questi